Publicação: Desenvolvimento de uma aplicação para análise de desempenho de grandes modelos de linguagem
Carregando...
Arquivos
Data
Autores
Orientador
Papa, João Paulo 
Coorientador
Pós-graduação
Curso de graduação
Bauru - FC - Ciência da Computação
Título da Revista
ISSN da Revista
Título de Volume
Editor
Universidade Estadual Paulista (Unesp)
Tipo
Trabalho de conclusão de curso
Direito de acesso
Acesso aberto
Resumo
Resumo (português)
A linguagem é uma necessidade humana desde sua origem. Com métodos mais rudimentares ou mais rebuscados, o ser humano encontra maneiras de se comunicar. A partir do surgimento dos computadores e das mudanças proporcionadas por eles, um novo desafio também chegou: descobrir como gerar conversações com as máquinas. Os estudos a esse respeito levaram a invenções importantes que provocaram ideias antes consideradas impossíveis. A área de aprendizado de máquina foi responsável pela maior parte desses avanços e, graças ao ramo, modelos de redes neurais artificiais foram cada vez mais explorados. Como um dos resultados, os large language models, caracterizados por serem compostos por essas redes, apresentaram resultados admiráveis ao produzir textos muito parecidos com os escritos por humanos. O sucesso desses modelos despertou o interesse de empresas que passaram a desenvolver suas próprias versões. A partir disso, cresce a demanda por entender quais deles são mais apropriados para certas aplicações, e outras questões de desempenho. Com esse propósito, o projeto buscou desenvolver um site que pudesse reunir large language models a fim de que gerassem respostas baseadas em instruções do usuário. Além disso, a aplicação deveria ser capaz de receber feedbacks sobre o melhor texto para uma instrução específica e, dessa maneira, possibilitar análises dos dados coletados para descobrir os pontos fracos e fortes de cada modelo. No final do desenvolvimento, esses objetivos foram atingidos e o site se tornou uma ferramenta intuitiva, para atender a um grande público, e proveitosa para captura de informações relevantes e estudo dos retornos recebidos.
Resumo (inglês)
Language has been a human necessity since its origin. With methods ranging from rudimentary to more elaborate, humans have found ways to communicate. With the advent of computers and the changes they brought, a new challenge emerged: discovering how to engage in conversations with machines. Studies in this regard led to important inventions that sparked ideas once considered impossible. The field of machine learning has been responsible for most of these advances, and, thanks to this, artificial neural network models have been increasingly explored. As a result, large language models, characterized by being composed of these networks, have shown remarkable results in producing texts very similar to those written by humans. The success of these models has piqued the interest of companies that began to develop their own versions. From there, the demand has grown to understand which of these models are more suitable for specific applications and other performance-related questions. To address this, the project aimed to develop a website that could bring together large language models in order for them to generate responses based on user instructions. Additionally, the application should be capable of receiving feedback on the best text for a specific instruction, thereby enabling analysis of the collected data to discover the strengths and weaknesses of each model. By the end of development, these objectives were achieved, and the website became an intuitive tool to serve a wide audience, proving to be valuable for capturing relevant information and studying the received feedback.
Descrição
Palavras-chave
Processamento de linguagem natural, Modelos de linguagem, Large language models, Inteligência artificial, Aprendizado de máquina, Transformers, Large language models, Artificial intelligence, Machine learning
Idioma
Português
Como citar
GOMES, Nicole Barbosa. Desenvolvimento de uma aplicação para análise de desempenho de grandes modelos de linguagem. 2023. Trabalho de Conclusão de Curso (Bacharelado em Ciência da Computação) - Universidade Estadual Paulista (Unesp), Bauru, 2023.
