Estudo e comparação de performance de grandes modelos de linguagem na tarefa de detecção de spam - Grassmann, Ana Clara de Castro [UNESP] (Universidade Estadual Paulista (Unesp), 2024)
Este projeto estuda como os LLMs baseados na arquitetura Transformer funcionam e a possibilidade de ajustar estes modelos para que possam utilizar apenas o corpo de mensagens de e-mail para classificá-las entre spam ou ham. Os modelos estudados foram o BERT, Gemma e Phi. Todos passaram pelas etapas de quantização, fine-tuning com um conjunto de dados reais e avaliação com métricas comumente utilizadas em problemas de classificação binária. O modelo Gemma apresenta resultados superiores a 99% de acurácia na detecção de spam, destacando-se como o melhor entre os modelos comparados.

This project studies how LLMs based on the transformer architecture operate and the possibility of adjusting these models to use only the body of email messages to classify them as spam or ham. The models studied were BERT, Gemma, and Phi. All of them underwent quantization stages, fine-tuning with a real dataset, and evaluation with metrics commonly used in binary classification problems. The Gemma model achieves over 99% accuracy in detecting spam, standing out as the best among the compared models.
Study and comparison of performance of large models language in the spam detection task
Keywords: Spam (Mensagens eletrônicas); Inteligência artificial; Detecção de spam; LLMs; Classificação binária; Spam detection; Fine-tuning; Binary classification