O Fluxograma a seguir, resume os processos deste estudo.
Os códigos utilizados nos passos a seguir, estão disponíveis no Github.
1 - Conversa com especialistas da área da educação do IFSULDEMINAS - Campus Muzambinho: Para compreender o objetivo desse estudo, foi necessário conversar com especialistas da área da educação para traçar metas para ajudar a instituição a identificar o comportamento dos participantes do ENEM.
2-Obtenção dos Microdados do ENEM pelo portal INEP: Os microdados do ENEM estão disponível no portal do INEP. Basta procurar pelo título Enem e baixar o arquivo de acordo com o ano que deseja. Vale ressaltar que o arquivo vem compactado, sendo necessário descompactar para ter acesso aos microdados que estão disponíveis em formato de planilha csv.
3- Importação dos microdados para o Google Colab, ferramenta para codificação em Python : Devido a planilha com os microdados do ENEM possuir um tamanho de 3G, não possível executar em uma máquina pessoal por não ter memória suficiente. Então, foi necessário deixar a planilha salva no drive do Google para executar no próprio Google Colab.
4- Início do Pré-processamento: O pré-processamento dos dados é um conjunto de técnicas de Mineração de Dados usadas para transformar dados brutos em formatos úteis e eficientes. Foram utilizados 2 passos nesse processo: Limpeza e Transformação/Adequação dos microdados.
Limpeza dos Microdados: Os microdados originais do INEP possuí 139 atributos e mais de 5 milhões de registros. Portanto, para aplicar a limpeza foi preciso remover atributos que não se encaixam nas informações do IFSULDEMINAS - Campus Muzambinho, como dados incompletos dos alunos, onde foi averiguado se o mesmo teria participado dos dois dias do exame, ou seja, alunos que não participaram nos dois dias e que somente responderam dados socioeconômico foram removidos da base de dados. Logo, a base passou a ter 13 atributos e 133 registros com dados relevantes para essa pesquisa.
Transformação/Adequação dos microdados: Consiste em categorizar variáveis para que fiquem divididos em categorias que tenha uma baixa amplitude de valores, para que os algoritmos de mineração de dados tenham bons resultados e também houve uma adaptação dos nomes dos atributos para uma melhor visualização.
5- Processo de Análise Exploratória nos microdados: Esta etapa consiste na exploração dos microdados, cálculos de média e mediana das notas, calculadas por meio da ferramenta Excel além de análises por boxplot e Correlação. Portanto, foram feitas análises para identificar a progressão das notas entre os anos de 2016 a 2019 e um estudo mais aprofundado analisando dos microdados somente de 2019.
6- Importação da planilha com os microdados tratados para a extensão Arff aceita pelo software WEKA: Após tratar os microdados utilizando às técnicas de mineração de dados criou-se uma planilha somente com os dados de interesse nesse estudo. Dessa forma, para aplicar algoritmos utilizando a ferramenta WEKA é necessário transformar a planilha csv em um arquivo Arff. Os passos a seguir demonstram como montar o arquivo e a figura abaixo como deve ficar.
É necessário criar no próprio código uma função que converta a planilha csv em arff.
Em seguida baixe o arquivo já na extensão arff, use qualquer editor de texto para editar o cabeçalho .
Coloque um cabeçalho e a área de dados.
O cabeçalho deve conter a relação do arquivo(nome do conjunto de dados) e é definida na primeira linha do arquivo através da marca @RELATION. Se o nome da relação contiver espaços, deve-se usar aspas.
O nome do atributo deve começar com letra e, se contiver espaços, deve estar entre aspas. Neste estudo foram trabalhados com dados do tipo Numeric e Atributos nominais (texto pré-determinado).
Após os ajuste do arquivo arff, é possível abri-lo dentro do software WEKA para aplicação de algoritmos. Neste estudo utilizamos o Algoritmo Apriori que um dos algoritmos mais utilizados para mineração por regras de associação. Os resultados obtidos, podem ser acompanhados na página Resultados.
7- Início do Pós-processamento: Nesta etapa é possível extrair todo o conhecimento obtidos após as etapas a cima terem sido executadas. Logo, é possível interpretar os resultados obtidos juntos aos especialistas da área da educação a traçar um planejamento para que se possa de certa forma melhorar o ensino e a aprendizagem dos estudantes do IFSULDEMINAS-Campus Muzambinho.