Question-answering com modelos de linguagem baseada na abordagem de estudo com flashcards
Carregando...
Data
Autores
Orientador
Paiola, Pedro Henrique
Coorientador
Garcia, Gabriel Lino
Pós-graduação
Curso de graduação
Bauru - FC - Ciência da Computação
Título da Revista
ISSN da Revista
Título de Volume
Editor
Universidade Estadual Paulista (Unesp)
Tipo
Trabalho de conclusão de curso
Direito de acesso
Acesso aberto
Resumo
Resumo (português)
Grandes Modelos de Linguagem (LLMs) sofrem com conhecimento estático e alucinações. Embora a Geração Aumentada por Recuperação (RAG) atenue isso ao injetar contexto externo, sua abordagem tradicional de segmentação linear (chunking) frequentemente introduz ruído contextual. Como alternativa, este trabalho investiga uma arquitetura RAG baseada em flashcards, unidades atômicas de Pergunta-Resposta inspiradas na prática de recuperação, utilizando uma indexação assimétrica que vetoriza apenas a pergunta. Para validar esta abordagem, foi realizado um experimento comparando três grupos (LLM Puro, RAG Tradicional e RAG Flashcards) com o modelo Phi-4, em uma tarefa de Múltipla Escolha (MCQA) sobre 293 itens do dataset BLUEX (Biologia, Geografia, História). O RAG Tradicional (88, 74%) superou marginalmente o RAG Flashcards (84, 30%), ambos com ganho mínimo sobre o LLM Puro (82, 94%), sugerindo alto conhecimento paramétrico do modelo na tarefa. Contudo, a principal contribuição foi validada na análise de eficiência: o RAG Flashcards alcançou desempenho quase idêntico ao tradicional consumindo apenas 39, 69% do custo computacional (média de 1.173 vs 2.957 tokens por consulta). Conclui-se que, apesar de não superior em acurácia neste cenário, a abordagem em flashcards oferece um balanço de custo-benefício superior à segmentação linear.
Resumo (inglês)
Large Language Models (LLMs) suffer from static knowledge and hallucinations. Although Retrieval-Augmented Generation (RAG) mitigates this by injecting external context, its traditional linear segmentation (\textit{chunking}) approach often introduces contextual noise. As an alternative, this work investigates a RAG architecture based on flashcards, atomic Question-Answering units inspired by retrieval practice, using asymmetric indexing that vectorizes only the question. To validate this approach, an experiment was conducted comparing three groups (Pure LLM, Traditional RAG, and Flashcard RAG) with the Phi-4 model, in a Multiple Choice Question Answering (MCQA) task on 293 items from the BLUEX dataset (Biology, Geography, History). The accuracy results were not as expected, with Traditional RAG ($88.74\%$) slightly outperforming Flashcards RAG ($84.30\%$), both with minimal gains over Pure LLM ($82.94\%$), suggesting high parametric knowledge of the model in the task. However, the main contribution was validated in the efficiency analysis: Flashcards RAG achieved almost identical performance to the traditional one while consuming only $39.69\%$ of the computational cost (average of $1.173$ vs. $2.957$ tokens per query). It is concluded that, although not superior in accuracy in this scenario, the flashcard approach offers a dramatically superior cost-benefit balance to linear segmentation.
Descrição
Palavras-chave
Geração aumentada por recuperação, Modelos de linguagem, Retrieval-Enhanced Generation (RAG), Language models, Flashcards, Retrieval practice, Retrieval practice
Idioma
Português
Citação
SILVEIRA, Vinicius Casimiro da. Question-answering com modelos de linguagem baseada na abordagem de estudo com flashcards. 2025. 48 f. Trabalho de Conclusão de Curso (Bacharelado em Ciência da Computação) – Universidade Estadual Paulista (UNESP), Faculdade de Ciências, Bauru, 2025.
