Refinamento de modelos de linguagem com abordagem hegeliana

Abstract

Na última década, modelos de linguagem baseados em Inteligência Artificial foram um dos tópicos mais abordados em diversas áreas, tanto comercialmente quanto cientificamente. Essa grande exposição, ao mesmo tempo em que gera expectativa e atrai pessoas ao tema, deixa à mostra os pontos com necessidade de aprimoramento e as funções não realizadas ou realizadas de forma muito simples, como a memorização de conhecimento, ou passíveis de erros, como a distração e o enfoque por informações irrelevantes (Shi et al., 2023), e o mais crítico deles, os erros factuais (criação de sentenças logicamente falsas). A partir disso, o presente trabalho propõe investigar e a possibilidade de aprimorar os modelos de linguagem por meio de um experimento inspirado na dialética hegeliana, envolvendo técnicas de prompt e múltiplos agentes, no qual, um dos agentes propõe uma tese para a questão e o segundo propõe sua antítese, podendo diferir ou se opor ao primeiro prompt gerado ou auxiliar como incrementador. Por fim, a síntese une as duas respostas em uma, que é avaliada por diferentes juízes com base na coerência e o quão próxima ela está da resposta ideal. Esse método demonstrou sua principal eficiência para áreas do conhecimento mais exatas, entretanto, para domínios mais abstratos, o resultado não é uniforme.

In this last decade, large language models based on Artificial Intelligence were one of the most discussed topics in many areas. These widespread attention, when attracting and generating expectations, also highlight some areas with need for improvement or tasks that are not adequately performed, like knowledge memorization, or tasks performed with mistakes, such as hallucination or distraction by irrelevant information (Shi et al., 2023), and the most critical, the factual errors (creation of logically false sentences). The present work proposes to enhance language models through an experiment inspired by Hegelian dialectics, envolving prompt tecniques and n multi agent ambient, where one of they generates an thesis for the question and a secondary agent produces the antithesis, witch may oppose the original answer or contribute by adding incremental insights. Finally, a synthesis is made by combining the two responses, and this synthesis is evaluated by different judges based on its coherence and how close it is from the ideal response. This method demonstrated ts strongest effectiveness in more exact domains, however, for more abstract areas, the results are less consistent.