Olá, estudante, tudo bem? Agora que você já foi introduzido ao universo da Ciência de Dados, nos aprofundaremos nos conceitos gerais de dados, informação e conhecimento. Portanto, o objetivo desta lição é proporcionar uma compreensão clara e aprofundada dos conceitos de dados, informação e conhecimento, elementos fundamentais na Ciência de Dados. Durante a lição, você será introduzido à definição de dados como o ponto inicial de todo o processo analítico, apresentando sua natureza bruta e descontextualizada.

Em seguida, abordaremos como a organização e o processamento desses dados resultam na geração de informação, o que fornece não só significado, mas contexto aos números e registros. Por fim, discutiremos como a interpretação das informações, combinada com experiência e expertise, transforma-se em conhecimento aplicável, essencial para a tomada de decisões estratégicas nas organizações.

Ao final desta lição, você, futuro técnico em Desenvolvimento de Sistemas, será capaz de diferenciar esses conceitos e compreender como cada um deles contribui para o ciclo de vida dos dados bem como para o desenvolvimento de soluções inovadoras e baseadas em dados.

A boa utilização de dados, informação e conhecimento na Ciência de Dados resolve um dos principais desafios enfrentados no desenvolvimento de software: a tomada de decisões embasadas e assertivas ao longo do ciclo de vida do projeto. Muitas vezes, desenvolvedores e gestores de projetos lidam com incertezas tanto no que diz respeito ao comportamento dos usuários quanto à performance e à escalabilidade do sistema. 

Sem uma análise adequada dos dados coletados, é difícil entender, de maneira precisa, o que está funcionando e onde estão os problemas. Ao transformar dados brutos em informação organizada e, posteriormente, em conhecimento, o desenvolvimento de software pode se beneficiar de insights que permitam ajustes rápidos e direcionados. Essa situação impacta diretamente na priorização de funcionalidades, na identificação de gargalos de performance e na antecipação de necessidades dos usuários, otimizando o processo de desenvolvimento e a qualidade final do software. Assim, a Ciência de Dados atua como uma aliada estratégica, ao possibilitar decisões mais seguras, baseadas em evidências, e promover inovações contínuas dentro dos projetos.

Agora, sabendo disso, vamos aprender mais desse assunto?

Vamos entender como a diferenciação entre dados, informação e conhecimento, na Ciência de Dados, pode ser utilizada na prática? Para isso, utilizaremos como exemplo uma situação hipotética. No case de hoje, a empresa Tech Nova enfrentava o desafio de entender o comportamento dos usuários e melhorar a experiência em sua plataforma de e-commerce, devido à queda na conversão de visitantes em compradores. Para resolver tal problema, a empresa adotou uma abordagem baseada em Ciência de Dados, buscando aprimorar a tomada de decisões e otimizar o produto.

A empresa coletou dados brutos de diversas fontes, como registros de navegação e transações. Esses dados foram processados e organizados, permitindo à equipe identificar padrões comportamentais e pontos críticos no fluxo de compra, como abandono de carrinho e feedbacks dos clientes. A partir disso, a Tech Nova utilizou o conhecimento adquirido com a análise, para tomar decisões estratégicas. A equipe de desenvolvimento, munida dessas informações, implementou melhorias na interface do usuário, otimizou o tempo de carregamento das páginas mais acessadas e redesenhou o processo de finalização da compra, tornando-o mais intuitivo e eficiente.

O resultado foi impressionante: em poucos meses, a taxa de conversão da plataforma aumentou em 30%, e a satisfação dos usuários também apresentou crescimento significativo. A empresa percebeu que, ao aplicar de forma correta os conceitos de dados, informação e conhecimento, foi capaz de transformar um problema crítico em uma oportunidade de inovação, promovendo melhorias contínuas em sua plataforma, consolidando-se como uma empresa orientada a decisões baseadas em dados. 

Assim, através desse case, podemos notar o quanto uma abordagem baseada em Ciência de Dados pode auxiliar o dia a dia do desenvolvedor. Vamos aprender mais?

Na lição anterior, entendemos que dados são elementos brutos e não processados que representam fatos, números ou eventos sem um contexto específico. Reforçando a definição de Basso (2020), podemos simplificar o termo “dados” como medições e observações. Assim, de maneira geral, os dados são capazes de assumir diversas formas, como números, palavras, medições ou sinais capturados por sensores. Por si mesmos, eles não têm um significado compreensível, até serem organizados ou interpretados. 

Na Ciência de Dados, eles são considerados a matéria-prima essencial para qualquer análise e servem como base na extração de informações e, eventualmente, na construção do conhecimento. 

Na Figura 1, temos a pirâmide de transformação de dados em conhecimento, a qual ilustra o processo pelo qual dados brutos são refinados, passando por etapas de organização e análise, até se tornarem informações e, por fim, conhecimento valioso.

Um exemplo de transformação de dados em informação pode ser observado em uma plataforma de e-commerce. Nesse caso, dados brutos sobre o comportamento dos usuários, como cliques, tempo de navegação e interações, são organizados em relatórios que revelam quais produtos despertam mais interesse, em quais etapas do processo de compra os usuários abandonam seus carrinhos e quais estratégias de marketing são mais eficazes. Assim, ao ganhar contexto e significado, os dados brutos tornam-se informações aptas a serem usadas para otimizar a experiência de compra e aumentar a conversão de vendas. Com esse processo, os dados ganham valor estratégico, auxiliando na tomada de decisões mais informadas bem como na geração de insights valiosos.

Além disso, o conhecimento possibilita a tomada de decisões estratégicas, pois envolve uma compreensão mais profunda e contextualizada dos dados bem como das informações. Ele possibilita identificar padrões mais sutis e aplicar soluções inovadoras, promovendo melhorias contínuas enquanto impulsiona o desenvolvimento de diversas inovações. Portanto, o conhecimento representa o estágio mais avançado no processo de análise de dados, sendo fundamental para a Ciência de Dados e o desenvolvimento de software, pois permite uma abordagem mais eficaz na resolução de problemas complexos e na tomada de decisões estratégicas.

No campo da análise de dados, linguagens de programação, como Python e R, desempenham um papel fundamental. De acordo com Basso (2020), a Python oferece interfaces gráficas e possui código aberto, enquanto a R é uma linguagem estatística que proporciona muita flexibilidade. Ambas contam com bibliotecas poderosas, como Pandas, NumPy e Matplotlib, que facilitam a manipulação, processamento e visualização dos dados. Essas linguagens também incorporam algoritmos de aprendizado de máquina e técnicas estatísticas, permitindo a extração de insights valiosos. Por exemplo, a biblioteca Scikit-learn, em Python, disponibiliza uma ampla gama de algoritmos para análise preditiva, classificação e clustering, essenciais à criação de modelos baseados em dados.

Dentre as técnicas estatísticas mais utilizadas, métodos como regressão linear, testes de hipóteses e análise de variância (Anova) ajudam a entender a relação entre variáveis e previsão de comportamentos futuros. Essas abordagens, acessíveis por meio de pacotes de software gratuitos, possibilitam realizar análises robustas sem a necessidade de ferramentas pagas. Quando utilizadas de forma integrada, essas ferramentas e técnicas possibilitam coleta, limpeza, classificação, estruturação e interpretação de dados, convertendo-os em informações significativas e, por fim, em conhecimento acionável.

Como futuro técnico em Desenvolvimento de Sistemas, dominar os conceitos de dados, informação e conhecimento não apenas aprimora sua capacidade de projetar soluções eficazes, mas também permite criar sistemas que extraem e organizam dados de forma eficiente, o que gera informações valiosas às organizações. O conhecimento adquirido ao longo desse processo é fundamental para a tomada de decisões estratégicas, otimização de processos e inovação no desenvolvimento de software, atendendo às necessidades dinâmicas do mercado.

Sabendo disso, agora é sua vez de aplicar os conceitos abordados nesta lição. Você realizará o processo de limpeza de dados em um conjunto fictício, com objetivo de prepará-los para análise, convertendo-os da forma bruta em um formato organizado e útil.

Para iniciar essa prática, você precisará dos seguintes requisitos:

1. Acesso à internet.

2. Um conjunto de dados simples (o arquivo dados_brutos.csv está disponível, clique aqui).

3. Acesso ao site GDB Online (clique aqui  para acessar). 

Após realizar o download do conjunto de dados, será necessário fazer o upload desse arquivo no site GDB Online, clicando no segundo item do menu da ferramenta (Upload File). No arquivo main.py, que já vem criado por padrão na ferramenta, você utilizará a linguagem de programação Python com a biblioteca Pandas, para carregar o arquivo CSV e efetuar todo o processo de transformação, limpeza e visualização dos dados, conforme Figura 2:

Agora, você receberá a explicação do que esse código da Figura 1 faz (é possível se guiar pelos comentários no código):

1. Remoção de linhas com valores ausentes em qualquer coluna importante: dropna() com parâmetro subset, para excluir linhas onde qualquer uma das colunas críticas esteja vazia.

2. Preenchimento de valores ausentes na coluna ‘idade’ com a média de idades: mantemos o preenchimento das idades com a média, caso haja algum valor ausente.

3. Correção do formato de e-mails (ajusta ‘emailcom’ para ‘email.com’): ajusta o formato de e-mails conforme necessário.

4. Padronização da data de cadastro (corrigir datas inválidas): converte para o formato de datas, tratando erros de forma adequada.

5. Salvamento dos dados limpos em um novo arquivo CSV: finalmente, salvamos apenas os dados que foram validados e processados.

Com essas mudanças, ao executar o código, as entradas que não têm um e-mail ou outros dados essenciais ausentes (por exemplo, idade, telefone ou data de cadastro) serão removidas, garantindo que apenas dados completos e válidos sejam salvos em dados_usuarios_limpos.csv.

E agora, qual dado foi removido? Quais dados permaneceram no arquivo de dados limpos? Se você acrescentar mais dados brutos ou alterar algum registro, o que acontece no final? Chame seus colegas e professores, analise e proponha alterações nos dados e no código, de acordo com a sua necessidade, curiosidade e dúvida. Bom trabalho!