Construção de agente inteligente para a resolução de questões de vestibular com LLM
Loading...
Date
Authors
Advisor
Papa, João Paulo 
Coadvisor
Paiola, Pedro Henrique
Graduate program
Undergraduate course
Bauru - FC - Ciência da Computação
Journal Title
Journal ISSN
Volume Title
Publisher
Universidade Estadual Paulista (Unesp)
Type
Undergraduate thesis
Access right
Acesso aberto
Abstract
Abstract (portuguese)
Este trabalho investigou o uso de agentes inteligentes baseados em modelos de linguagem de grande escala (LLMs) para a resolução de questões objetivas de vestibulares brasileiros. Foi proposta uma arquitetura em múltiplos passos que integra o modelo a ferramentas externas de cálculo e enciclopédia, e sua performance foi comparada ao uso direto dos LLMs nas mesmas provas (ENEM, USP e Unicamp). Os resultados mostraram que, com modelos de menor capacidade (como Llama 3.1 e Mistral), o agente apresentou desempenho inferior ao uso direto, devido especialmente a falhas na recuperação de informações e à interpretação de saídas intermediárias. No entanto, ao empregar um modelo mais robusto (GPT-4.1 Mini), o agente obteve ganhos expressivos nas questões que exigem raciocínio matemático, evidenciando que a abordagem é promissora em cenários com ferramentas e modelos mais adequados ao domínio. O estudo contribui ao demonstrar experimentalmente os limites e potencial dessa estratégia em contextos educacionais reais.
Abstract (english)
This work investigated the use of intelligent agents based on large language models (LLMs) for solving multiple-choice questions from Brazilian university entrance exams. A multi-step architecture was proposed, integrating the model with external tools for calculation and encyclopedic retrieval, and its performance was compared to the direct use of LLMs on the same exams (ENEM, USP, and Unicamp). The results showed that, when using lowercapacity models such as Llama 3.1 and Mistral, the agent performed worse than direct usage, mainly due to failures in information retrieval and interpretation of intermediate outputs. However, when employing a more robust model (GPT-4.1 Mini), the agent achieved significant gains on mathematically demanding questions, indicating that the approach is promising in scenarios supported by more suitable models and tools. This study contributes by experimentally demonstrating both the limitations and the potential of this strategy in real educational contexts.
Description
Keywords
Agentes inteligentes, Modelos de linguagem, Prova de vestibular, Intelligent agents, Language models, University entrance exams
Language
Portuguese
Citation
ROSA, Sofia Azevedo. Construção de agente inteligente para a resolução de questões de vestibular com LLM. 2025. Trabalho de Conclusão de Curso (Bacharelado em Ciência da Computação) – Faculdade de Ciências, Universidade Estadual Paulista (UNESP), Bauru, 2025.
