Estudo e comparação de performance de grandes modelos de linguagem na tarefa de detecção de spam

Abstract

Este projeto estuda como os LLMs baseados na arquitetura Transformer funcionam e a possibilidade de ajustar estes modelos para que possam utilizar apenas o corpo de mensagens de e-mail para classificá-las entre spam ou ham. Os modelos estudados foram o BERT, Gemma e Phi. Todos passaram pelas etapas de quantização, fine-tuning com um conjunto de dados reais e avaliação com métricas comumente utilizadas em problemas de classificação binária. O modelo Gemma apresenta resultados superiores a 99% de acurácia na detecção de spam, destacando-se como o melhor entre os modelos comparados.

This project studies how LLMs based on the transformer architecture operate and the possibility of adjusting these models to use only the body of email messages to classify them as spam or ham. The models studied were BERT, Gemma, and Phi. All of them underwent quantization stages, fine-tuning with a real dataset, and evaluation with metrics commonly used in binary classification problems. The Gemma model achieves over 99% accuracy in detecting spam, standing out as the best among the compared models.