Estudo e comparação de performance de grandes modelos de linguagem na tarefa de detecção de spam
Carregando...
Data
2024-06-21
Autores
Orientador
Costa, Kelton Augusto Pontara da 
Coorientador
Pós-graduação
Curso de graduação
Bauru - FC - Sistemas de Informação
Título da Revista
ISSN da Revista
Título de Volume
Editor
Universidade Estadual Paulista (Unesp)
Tipo
Trabalho de conclusão de curso
Direito de acesso
Acesso restrito
Resumo
Resumo (português)
Este projeto estuda como os LLMs baseados na arquitetura Transformer funcionam e a possibilidade de ajustar estes modelos para que possam utilizar apenas o corpo de mensagens de e-mail para classificá-las entre spam ou ham. Os modelos estudados foram o BERT, Gemma e Phi. Todos passaram pelas etapas de quantização, fine-tuning com um conjunto de dados reais e avaliação com métricas comumente utilizadas em problemas de classificação binária. O modelo Gemma apresenta resultados superiores a 99% de acurácia na detecção de spam, destacando-se como o melhor entre os modelos comparados.
Resumo (inglês)
This project studies how LLMs based on the transformer architecture operate and the possibility of adjusting these models to use only the body of email messages to classify them as spam or ham. The models studied were BERT, Gemma, and Phi. All of them underwent quantization stages, fine-tuning with a real dataset, and evaluation with metrics commonly used in binary classification problems. The Gemma model achieves over 99% accuracy in detecting spam, standing out as the best among the compared models.
Descrição
Idioma
Português
Como citar
GRASSMANN, Ana Clara de Castro. Estudo e comparação de performance de grandes modelos de linguagem na tarefa de detecção de spam. 2024. Trabalho de Conclusão de Curso (Bacharelado em Sistemas de Informação) - Faculdade de Ciências, Universidade Estadual Paulista (UNESP), Bauru, 2024.