Big Data é o conjunto de tecnologias e ferramentas que fazem a coleta, armazenamento, processamento e análise de grandes volumes de dados a fim de se obter insights valiosos e melhorar tomadas de decisões.
Embedded Files
História do Big Data
Sua história começa com a evolução dos computadores e das tecnologias para armazenamento de dados. O aumento do poder de processamento e da capacidade de armazenamento tornou possível a coleta e análise de grandes volumes de dados, o que permitiu o surgimento do Big Data.
A origem do termo "Big Data" começou a ser falado no final dos anos 90, quando o analista de mercado Doug Laney usou o mesmo para descrever o crescente volume de dados que as empresas estavam começando a coletar.
No entanto, foi somente nos anos 2000 que o Big Data começou a ganhar força comercialmente e academicamente falando. Empresas como a Google e a Yahoo foram as pioneiras no uso de ferramentas Big Data para lidar com enormes quantidades de dados gerados por suas operações e seus usuários.
Com o tempo, setores como saúde, finanças, varejo e governo passaram a ter interesse pelo Big Data. A crescente demanda por análises mais avançadas e insights mais profundos levou ao desenvolvimento de novas tecnologias, como Hadoop e NoSQL, que permitem o armazenamento e processamento destes grandes volumes de dados produzidos pelo Big Data.
Atualmente o Big Data vem sendo uma área de grande importância para empresas e organizações em todo o mundo, continuando a evoluir à medida que novas tecnologias e ferramentas vem sendo desenvolvidas para lidar com os desafios da análise de dados em larga escala.
Os 5 Vs
O Big Data tem como proposta de solução, oferecer uma abordagem consistente no tratamento do constante crescimento e da complexidade dos dados. Para isso, temos os 5 Vs: Volume | Velocidade | Variedade | Veracidade | Valor
Volume
Tem a ver com a quantidade de dados que estão sendo coletados, armazenados e processados, incluindo dados estruturados e não estruturados.
Velocidade
A rapidez com que os dados são gerados e precisam ser processados, analisados e respondidos em tempo real.
Variedade
Diferentes tipos de dados são coletados, incluindo dados estruturados e não estruturados, como dados de texto, áudio, vídeo e imagens.
Veracidade
Os dados coletados devem ser confiáveis e com qualidade, incluindo a identificação e correção de erros e inconsistências nestes dados.
Valor
O potencial valor que os dados têm para a organização e como podem ser usados para melhorar a tomada de decisões e alcançar objetivos de negócios.
Ferramentas
Hadoop: uma plataforma de processamento distribuído que permite o armazenamento e processamento de grandes volumes de dados em clusters de servidores.
Spark: um motor de processamento de dados em larga escala que oferece recursos para processamento em tempo real, machine learning e análise de dados.
Hive: uma ferramenta de análise de dados que permite a consulta e análise de grandes volumes de dados usando SQL.
Pig: uma ferramenta de análise de dados que permite a programação em alto nível de operações de processamento de dados em grande escala.
Kafka: uma plataforma de streaming de dados que permite a ingestão, processamento e entrega em tempo real de grandes volumes de dados.
NoSQL: é um banco de dados não relacional que permite o armazenamento e processamento de grandes volumes de dados em escala horizontal.
Arquitetura
Page updated
Google Sites
Report abuse