Construção de agente inteligente para a resolução de questões de vestibular com LLM
Carregando...
Data
Autores
Orientador
Papa, João Paulo 
Coorientador
Paiola, Pedro Henrique
Pós-graduação
Curso de graduação
Bauru - FC - Ciência da Computação
Título da Revista
ISSN da Revista
Título de Volume
Editor
Universidade Estadual Paulista (Unesp)
Tipo
Trabalho de conclusão de curso
Direito de acesso
Acesso aberto
Resumo
Resumo (português)
Este trabalho investigou o uso de agentes inteligentes baseados em modelos de linguagem de grande escala (LLMs) para a resolução de questões objetivas de vestibulares brasileiros. Foi proposta uma arquitetura em múltiplos passos que integra o modelo a ferramentas externas de cálculo e enciclopédia, e sua performance foi comparada ao uso direto dos LLMs nas mesmas provas (ENEM, USP e Unicamp). Os resultados mostraram que, com modelos de menor capacidade (como Llama 3.1 e Mistral), o agente apresentou desempenho inferior ao uso direto, devido especialmente a falhas na recuperação de informações e à interpretação de saídas intermediárias. No entanto, ao empregar um modelo mais robusto (GPT-4.1 Mini), o agente obteve ganhos expressivos nas questões que exigem raciocínio matemático, evidenciando que a abordagem é promissora em cenários com ferramentas e modelos mais adequados ao domínio. O estudo contribui ao demonstrar experimentalmente os limites e potencial dessa estratégia em contextos educacionais reais.
Resumo (inglês)
This work investigated the use of intelligent agents based on large language models (LLMs) for solving multiple-choice questions from Brazilian university entrance exams. A multi-step architecture was proposed, integrating the model with external tools for calculation and encyclopedic retrieval, and its performance was compared to the direct use of LLMs on the same exams (ENEM, USP, and Unicamp). The results showed that, when using lowercapacity models such as Llama 3.1 and Mistral, the agent performed worse than direct usage, mainly due to failures in information retrieval and interpretation of intermediate outputs. However, when employing a more robust model (GPT-4.1 Mini), the agent achieved significant gains on mathematically demanding questions, indicating that the approach is promising in scenarios supported by more suitable models and tools. This study contributes by experimentally demonstrating both the limitations and the potential of this strategy in real educational contexts.
Descrição
Palavras-chave
Agentes inteligentes, Modelos de linguagem, Prova de vestibular, Intelligent agents, Language models, University entrance exams
Idioma
Português
Citação
ROSA, Sofia Azevedo. Construção de agente inteligente para a resolução de questões de vestibular com LLM. 2025. Trabalho de Conclusão de Curso (Bacharelado em Ciência da Computação) – Faculdade de Ciências, Universidade Estadual Paulista (UNESP), Bauru, 2025.
