Construção de agente inteligente para a resolução de questões de vestibular com LLM

Abstract

Este trabalho investigou o uso de agentes inteligentes baseados em modelos de linguagem de grande escala (LLMs) para a resolução de questões objetivas de vestibulares brasileiros. Foi proposta uma arquitetura em múltiplos passos que integra o modelo a ferramentas externas de cálculo e enciclopédia, e sua performance foi comparada ao uso direto dos LLMs nas mesmas provas (ENEM, USP e Unicamp). Os resultados mostraram que, com modelos de menor capacidade (como Llama 3.1 e Mistral), o agente apresentou desempenho inferior ao uso direto, devido especialmente a falhas na recuperação de informações e à interpretação de saídas intermediárias. No entanto, ao empregar um modelo mais robusto (GPT-4.1 Mini), o agente obteve ganhos expressivos nas questões que exigem raciocínio matemático, evidenciando que a abordagem é promissora em cenários com ferramentas e modelos mais adequados ao domínio. O estudo contribui ao demonstrar experimentalmente os limites e potencial dessa estratégia em contextos educacionais reais.

This work investigated the use of intelligent agents based on large language models (LLMs) for solving multiple-choice questions from Brazilian university entrance exams. A multi-step architecture was proposed, integrating the model with external tools for calculation and encyclopedic retrieval, and its performance was compared to the direct use of LLMs on the same exams (ENEM, USP, and Unicamp). The results showed that, when using lowercapacity models such as Llama 3.1 and Mistral, the agent performed worse than direct usage, mainly due to failures in information retrieval and interpretation of intermediate outputs. However, when employing a more robust model (GPT-4.1 Mini), the agent achieved significant gains on mathematically demanding questions, indicating that the approach is promising in scenarios supported by more suitable models and tools. This study contributes by experimentally demonstrating both the limitations and the potential of this strategy in real educational contexts.