PDF - VERSÃO DE IMPRESSÃO

Lição 9 - Modelos Preditivos: introdução

objetivo

Olá, estudante! Tudo bem?

Na lição anterior, exploramos os métodos de ordenação e suas aplicações, assim como entendemos seus princípios fundamentais e como eles podem ser utilizados em diferentes contextos. Nesta lição, o objetivo é lhe introduzir no universo dos modelos preditivos. Vamos explorar as abordagens baseadas em distância e os métodos probabilísticos, compreendendo suas características e aplicações práticas.

Ao longo do conteúdo, você será conduzido a compreender os fundamentos teóricos e práticos que sustentam esses modelos, permitindo o reconhecimento de suas principais características, aplicações e limitações. A proposta desta lição é promover um aprendizado que une conceitos matemáticos e estatísticos a cenários reais, em que esses modelos desempenham um papel fundamental na tomada de decisões e na análise de dados.

Dessa forma, ao final da lição, você, futuro técnico em desenvolvimento de sistemas, estará apto a identificar situações em que cada abordagem é mais apropriada, adquirindo as bases para construir soluções preditivas robustas e embasadas em evidências.

Vamos aprender mais sobre esse assunto?

problematização

No contexto da ciência de dados, os modelos preditivos baseados em distância e probabilísticos desempenham um papel importante na resolução de problemas complexos do dia a dia, especialmente quando se trata de analisar grandes volumes de dados e fazer previsões precisas. Modelos baseados em distância, como o K-Nearest Neighbors (KNN), são amplamente utilizados para problemas de classificação e recomendação, pois identificam padrões e semelhanças entre diferentes observações, permitindo a previsão de rótulos ou categorias para novos dados com base na proximidade de amostras já conhecidas. Esses modelos são frequentemente aplicados em sistemas de recomendação, como os utilizados por plataformas de streaming e e-commerce, em que a proximidade entre os perfis de usuários pode sugerir novos produtos ou conteúdos.

Os modelos probabilísticos, como as redes bayesianas, por sua vez, abordam problemas mais dinâmicos e incertos, tratando da incerteza nas variáveis e permitindo que as previsões considerem as interações complexas entre diferentes fatores. Eles são utilizados em situações, como a previsão de demanda, análise de risco e diagnósticos médicos, em que é necessário calcular a probabilidade de um evento ocorrer, levando em conta múltiplas variáveis e suas inter-relações.

Em ambos os casos, esses modelos ajudam os profissionais de ciência de dados a lidar com a complexidade dos dados reais, oferecendo soluções para problemas de previsão, otimização e tomada de decisão, fundamentais para empresas e organizações em um cenário competitivo. Agora que entendemos a importância desses conceitos, vamos nos aprofundar nesse universo fascinante!

case

Vamos entender, agora, como os modelos preditivos funcionam na prática? Conheça a empresa fictícia VivaFit, uma rede de academias, que enfrentava uma alta taxa de cancelamento de matrículas, a qual afetava sua estabilidade financeira. Para resolver o problema, a empresa utilizou um modelo preditivo baseado em distância para identificar clientes com maior propensão ao cancelamento e aplicar estratégias personalizadas de retenção.

A VivaFit coletou dados detalhados de seus clientes, incluindo frequência de visitas, uso de serviços e informações demográficas, e utilizou o algoritmo K-Nearest Neighbors (KNN) para identificar padrões e comportamentos. O modelo agrupou os clientes em clusters com base em características semelhantes, permitindo prever quais deles tinham maior probabilidade de cancelar suas matrículas, especialmente aqueles com baixa frequência e pouca interação com os serviços adicionais. Com base nas percepções do modelo, a empresa adotou ações direcionadas, oferecendo promoções e incentivos personalizados para clientes com risco de cancelamento e lançando campanhas exclusivas para fortalecer o vínculo com os frequentadores mais engajados.

A implementação das estratégias resultou em uma redução de 25% nos cancelamentos, enquanto o modelo preditivo permitiu à VivaFit antecipar comportamentos e oferecer experiências personalizadas, fortalecendo a relação com os clientes e melhorando a retenção. Portanto, observe que, nesse exemplo, vemos como os modelos baseados em distância – como o K-Nearest Neighbors (KNN) –, podem ser usados para identificar padrões e fazer previsões úteis no mundo real. Embora, aqui, o modelo tenha sido aplicado em uma academia, ele pode ser utilizado em diversos outros contextos e setores, ampliando suas possibilidades de aplicação!

Conceitualização

Os modelos preditivos são ferramentas matemáticas e estatísticas utilizadas para prever resultados futuros ou desconhecidos com base em dados históricos e padrões observados. De acordo com Provost e Fawcett (2016), em ciência de dados, um modelo preditivo é uma fórmula para estimar o valor desconhecido de interesse – o alvo. Eles desempenham um papel fundamental na ciência de dados, pois permitem transformar dados brutos em percepções acionáveis, apoiando decisões estratégicas e operacionais em diversas áreas, como negócios, saúde, finanças e tecnologia. Assim, ao identificar tendências e probabilidades, esses modelos ajudam a antecipar comportamentos, mitigar riscos e otimizar processos, tornando-se indispensáveis em um ambiente orientado por dados.

A previsão desempenha um papel essencial na tomada de decisão, pois permite às organizações e indivíduos anteciparem eventos futuros, reduzindo incertezas e aumentando a eficiência das estratégias adotadas. Sobre esse tema, Provost e Fawcett (2016) destacam que esses eventos poderiam ser algo no futuro, no sentido literal de previsão. Em um mundo, cada vez mais, dinâmico e competitivo, decisões baseadas em previsões proporcionam uma vantagem significativa, permitindo alocação mais assertiva de recursos, mitigação de riscos e identificação de oportunidades antes de seus concorrentes. Ao prever o comportamento do mercado, estimar demandas ou antecipar possíveis falhas, a capacidade de projetar cenários futuros fundamenta decisões mais informadas e alinhadas aos objetivos organizacionais.

Classificação dos modelos preditivos

Os modelos preditivos são ferramentas fundamentais em ciência de dados, projetados para identificar padrões em dados históricos e utilizá-los para prever resultados futuros. Esses modelos podem ser classificados em diferentes tipos, cada um adequado a contextos e características específicas dos dados analisados. Entre eles, destacam-se os modelos baseados em distância e os modelos probabilísticos.

Os modelos preditivos baseados em distância, como o K-Nearest Neighbors (KNN), operam comparando a similaridade entre os dados por meio de métricas como a distância euclidiana. Grus (2016) se refere a essa abordagem como o “modelo dos vizinhos mais próximos” e destaca que ela é uma das mais simples entre os modelos preditivos. Esses modelos são particularmente eficazes para classificação e agrupamento, em que a proximidade entre os pontos em um espaço multidimensional reflete características compartilhadas. De maneira geral, são amplamente utilizados em situações nas quais os dados possuem padrões visíveis e uma separação natural entre os grupos.

Os modelos probabilísticos, como o Naive Bayes, por exemplo, empregam a teoria da probabilidade para realizar predições. Esses modelos avaliam a probabilidade de um evento ocorrer com base em dados de entrada e em suposições estatísticas, sendo assim, são especialmente úteis para problemas de classificação e diagnóstico, quando há incerteza e variabilidade nos dados. De acordo com Gruz (2016), a chave para Naive Bayes é fazer a (grande) suposição de que as presenças (ou ausências) de cada palavra são independentes uma das outras. A força dos modelos probabilísticos está em sua capacidade de lidar com dados escassos ou com múltiplas variáveis independentes, mesmo quando as suposições feitas sobre a distribuição dos dados são simplistas.

Compreender as diferenças entre essas abordagens permite escolher o modelo mais adequado para diferentes tipos de problemas, considerando características dos dados e os objetivos da análise preditiva.

Modelos baseados em distância

A definição de modelos baseados em distância se refere a técnicas que utilizam métricas matemáticas para medir a semelhança ou diferença entre dados em um espaço multidimensional. Essas métricas, como a distância euclidiana, de Manhattan e do cosseno, são fundamentais para o funcionamento de algoritmos como o K-Nearest Neighbors (KNN).

A distância euclidiana mede a linha reta mais curta entre dois pontos em um espaço cartesiano, sendo amplamente usada quando se deseja avaliar similaridades de forma geométrica. A distância de Manhattan, por sua vez, calcula a soma das distâncias absolutas entre coordenadas, o que é útil em contextos nos quais o movimento ocorre em caminhos ortogonais, como em grades ou cidades. Já a distância do cosseno mede o ângulo entre dois vetores, focando na direção em vez da magnitude, sendo frequentemente usada para comparar documentos ou textos.

O algoritmo K-Nearest Neighbors (KNN) utiliza essas métricas para tomar decisões baseadas na proximidade de dados de treinamento. Seu funcionamento envolve localizar os K vizinhos mais próximos de um ponto de entrada, conforme a métrica de distância escolhida, e atribuir a classe ou valor predominante entre esses vizinhos ao ponto avaliado. É um algoritmo simples, mas poderoso, amplamente utilizado para tarefas como classificação, em que se deseja identificar a categoria de um novo dado, e segmentação, em que grupos similares são formados com base em suas características.

As aplicações práticas do KNN são diversas, podendo ser utilizadas para prever diagnósticos médicos, identificar padrões de consumo em e-commerce ou segmentar clientes em estratégias de marketing. A flexibilidade do algoritmo permite sua adaptação a problemas que requerem análises baseadas em proximidade, tornando-o uma ferramenta essencial na ciência de dados.

Modelos probabilísticos

A probabilidade desempenha um papel central em ciência de dados, fornecendo a base matemática para lidar com incertezas e prever eventos futuros com base em dados históricos. No contexto de modelos preditivos, a probabilidade permite calcular a chance de um evento ocorrer, considerando a relação entre diferentes variáveis.

Um dos modelos mais conhecidos baseados em probabilidade é o Naive Bayes, que utiliza o teorema de Bayes para fazer previsões. Esse modelo assume que todas as variáveis são independentes entre si, uma simplificação que facilita os cálculos e torna o algoritmo eficiente, mesmo com grandes volumes de dados. Apesar de sua simplicidade, o Naive Bayes é altamente eficaz em aplicações práticas, como a classificação de textos (spam ou não spam), análise de sentimentos e categorização de documentos.

A relação entre probabilidade, estatística e inferência probabilística é essencial para entender como modelos como o Naive Bayes operam. Enquanto a probabilidade mede a chance de eventos com base em um modelo matemático, a estatística utiliza amostras de dados para inferir características de uma população maior. Já a inferência probabilística combina esses conceitos para deduzir probabilidades de eventos desconhecidos, com base em dados disponíveis e modelos preditivos.

Assim, os fundamentos probabilísticos não apenas sustentam modelos como o Naive Bayes, mas também são aplicados em técnicas mais avançadas de ciência de dados, auxiliando na análise de padrões, na identificação de anomalias e na tomada de decisões baseada em evidências.

Comparação entre os modelos

Os modelos preditivos baseados em distância e os probabilísticos diferem significativamente em suas abordagens e aplicações, refletindo suas naturezas distintas. A escolha entre esses dois tipos de modelos depende do cenário e das características dos dados:

Modelos baseados em distância: são mais adequados para conjuntos de dados com estrutura bem definida e cujas relações entre as variáveis podem ser avaliadas diretamente por meio de proximidade. Eles requerem um grande volume de dados na memória durante a execução, o que pode limitar seu uso em casos com dados muito grandes.
Modelos probabilísticos: são preferíveis em situações em que os dados possuem incerteza, alta dimensionalidade ou quando há necessidade de incorporar distribuições estatísticas. Sua eficiência computacional e capacidade de lidar com falta de dados os tornam ideais para cenários com grandes volumes de dados textuais ou categóricos.

Compreender essas diferenças lhe ajudará a escolher o modelo mais apropriado para resolver problemas específicos, maximizando a precisão e a eficiência das análises. Sendo assim, esse conhecimento lhe prepara, futuro técnico em desenvolvimento de sistemas, para tomar decisões mais assertivas e criar soluções que impactem positivamente os sistemas e organizações em que atuará.

saiba aplicar

Conforme estudamos, conhecer e entender os modelos preditivos é essencial para sua formação, futuro técnico em desenvolvimento de sistemas, pois essas ferramentas permitem solucionar problemas complexos de maneira eficiente e fundamentada. Entretanto, a integração dos fundamentos teóricos à parte prática é essencial para que você possa aplicar abordagens baseadas em distância e métodos probabilísticos em cenários reais, como análise de comportamentos de usuários ou otimização de processos empresariais. Nesse sentido, você aprenderá a implementar um exemplo básico do algoritmo K-Nearest Neighbors (KNN) em Python, utilizando o site OnlineGDB.

Nesta implementação, focaremos na classificação de um pequeno conjunto de dados fictícios. Para lhe auxiliar no processo, siga este passo a passo:

1. Abra o navegador e acesse o site indicado (clique aqui para acessar).

2. Escolha a linguagem Python no menu suspenso no canto superior esquerdo.

3. Crie os dados fictícios, a função que calcula a distância entre dois pontos, a lógica principal do KNN para calcular as distâncias e classificar o novo ponto. Adicione o código para classificar o novo ponto e imprima o resultado, conforme a Figura 1:

Figura 1 - Implementação do algoritmo KNN em Python
Fonte: o autor.

#PraCegoVer: na Linha 1, temos: import math; na Linha 3: def distancia_euclidiana(ponto1, ponto2):; na Linha 4: return math.sqrt((ponto1[0] - ponto2[0])**2 + (ponto1[1] - ponto2[1])**2); na Linha 6: def knn_classificar(dados, novo_ponto, k):; na Linha 7: # Calcula as distâncias entre o novo ponto e todos os dados; na Linha 8: distancias = []; na Linha 9: for dado in dados:; na Linha 10: distancia = distancia_euclidiana(novo_ponto, dado[:2]) # [:2] pega apenas as características; na Linha 11: distancias.append((distancia, dado[2])) # Adiciona a distância e a classe; na Linha 13: # Ordena as distâncias em ordem crescente; na Linha 14: distancias.sort(key=lambda x: x[0]); na Linha 16: # Pega os k vizinhos mais próximos; na Linha 17: k_vizinhos = distancias[:k]; na Linha 19: # Conta as classes dos k vizinhos; na Linha 20: contador_classes = {}; na Linha 21: for vizinho in k_vizinhos:; na Linha 22: classe = vizinho[1]; na Linha 23: contador_classes[classe] = contador_classes.get(classe, 0) + 1; na Linha 25: # Retorna a classe mais frequente; na Linha 26: return max(contador_classes, key=contador_classes.get); na Linha 28: # Aplicação do algoritmo; na Linha 29: # Conjunto de dados fictício no formato: [característica1, característica2, classe]; na Linha 30 dados = [ na linha 31 [1.5, 2.3, 'A']; na Linha 32: [2.1, 3.5, 'A']; na Linha 33: [3.0, 3.0, 'B']; na Linha 34: [5.1, 5.9, 'B']; na Linha 35: [3.5, 2.8, 'A']; na Linha 36: ]; na Linha 38: # Ponto que queremos classificar; na Linha 39; novo_ponto = [3.7, 3.2]; na Linha 40: # Classificando o novo ponto com k = 3; na Linha 41: k = 3; na Linha 42: classe_predita = knn_classificar(dados, novo_ponto, k); na Linha 43: print(f"O novo ponto {novo_ponto} foi classificado como: {classe_predita}"). Nas Linhas 2, 5, 12, 15, 18, 24, 27 e 37, não há conteúdo escrito. Fim da descrição.

4. Clique no botão Run no OnlineGDB para executar o código. Observe o resultado no console, em que o novo ponto será classificado em uma das classes do conjunto de dados (A ou B).

O algoritmo KNN, um modelo preditivo baseado em distância, classifica novos pontos ao identificar os K vizinhos mais próximos no conjunto de dados, utilizando a distância euclidiana como métrica para medir a semelhança entre eles. Esse processo permite determinar a classe do novo ponto com base na classe mais frequente entre seus vizinhos, proporcionando previsões eficazes em tarefas como classificação e segmentação.

Assim, neste exercício básico, demonstramos como implementar o KNN em Python e aplicar conceitos de ciência de dados de forma prática. Agora que aprendeu o passo a passo, experimente alterar os dados ou o valor de K para observar como o resultado muda! Até a próxima!

REFERÊNCIAS

GRUS, J. Data science do zero. Rio de Janeiro, RJ: Alta Books, 2016.

PROVOST, F.; FAWCETT, T. Data science para negócios. Rio de Janeiro, RJ: Alta Books, 2016.

Page updated

Google Sites

Report abuse