Jornal Mato-Grossense de Física
ISSN Eletrônico: 2965-1964 Programa de Pós-Graduação em Física - IF/UFMT
Embedded Files
JMFis 10, 1 (2025)
ChatGPT no ENEM: investigação da eficiência na resolução de questões conceituais de física
Autor
M. S. L. Netto
Resumo
O objetivo central deste estudo foi analisar a capacidade do ChatGPT em abordar questões conceituais de física presentes no Exame Nacional do Ensino Médio (ENEM). Além disso, buscamos avaliar se a interação com o ChatGPT pode proporcionar um feedback substancial e preciso sobre essas questões. Para alcançar esse propósito, realizamos um levantamento das questões conceituais distintas de uma mesma edição do ENEM. Em seguida, utilizamos a inteligência artificial para gerar respostas às questões selecionadas. Os resultados revelaram que o modelo apresentou uma taxa de assertividade geral de 76%, variando de 50% a 100% de assertividade específica, dependendo da modalidade de aplicação do exame. No entanto, essa análise das respostas discursivas também destacou um ponto crítico no uso do ChatGPT. Embora ele tenha demonstrado ser altamente assertivo, existe o risco de fornecer informações que são sinônimas em termos de produção de texto, mas não necessariamente sinônimas em termos científicos. Em conclusão, o ChatGPT mostrou potencial para auxiliar na resolução das questões do ENEM e pode ser considerado uma ferramenta de apoio educacional viável, desde que seja supervisionado por professores para garantir a precisão e a adequação das respostas.
Abstract
The central objective of this study was to analyze ChatGPT’s ability to address conceptual physics questions found in the Brazilian National High School Exam (ENEM). Furthermore, we aimed to evaluate whether interacting with ChatGPT could provide substantial and accurate feedback on these questions. To achieve this purpose, we conducted a survey of distinct conceptual questions from a single edition of the ENEM. Next, we utilized artificial intelligence to generate responses to the selected questions. The results revealed that the model exhibited an overall accuracy rate of 76%, ranging from 50% to 100% specific accuracy, depending on the mode of exam application. However, this analysis of discursive responses also highlighted a critical point in the use of ChatGPT. Although it demonstrated high accuracy, there is a risk of providing information that is synonymous in terms of text production but not necessarily synonymous in scientific terms. In conclusion, ChatGPT showed potential to assist in solving ENEM questions and can be considered a viable educational support tool, provided it is supervised by teachers to ensure the accuracy and suitability of responses.
DOI
This work is licensed under a Creative Commons Attribution 4.0 International License.
Page updated
Report abuse