Análise de sentimento aplicada a finanças: um estudo de caso comparativo entre Finbert, Roberta, Fasttext e Modernbert

Abstract

A era digital inaugurou um novo paradigma no mercado financeiro, caracterizado pela explosão de dados textuais não estruturados que contêm sinais cruciais para a tomada de decisão. Diante da velocidade com que os mercados reagem ao fluxo informacional, a interpretação manual desses dados torna-se inviável, demandando o uso de Processamento de Linguagem Natural (PLN) para capturar o humor e as percepções do mercado de forma automatizada. Este trabalho apresenta um estudo de caso comparativo avaliando o desempenho das arquiteturas FinBERT, RoBERTa, FastText e ModernBERT na tarefa de análise de sentimento de notícias financeiras. Utilizou-se o dataset FinMarBa, cujos rótulos são informados pelo comportamento real do mercado, oferecendo um desafio de classificação mais rigoroso. Os experimentos foram conduzidos em três fases progressivas para mitigar o desbalanceamento de classes: Baseline (v1), Ponderação de Classes (v2) e Refinamento com Focal Loss e Label Smoothing (v3). A avaliação baseou-se no F1-Score Macro para garantir a representatividade da classe neutra. Os resultados demonstraram que o FinBERT v3 alcançou a maior robustez global (F1-Macro 0,55) , enquanto o ModernBERT v3 obteve a maior sensibilidade para a classe neutra (Recall 52,8%), embora com um trade-off na detecção de sinais positivos. O teste estatístico de McNemar revelou um valor-p de 0,8784, indicando uma equivalência técnica entre os modelos de ponta e reforçando que o ruído intrínseco do mercado atua como um fator nivelador de desempenho. Concluiu-se que estratégias de aprendizado sensíveis ao custo são essenciais para este domínio, e que o limite teórico de performance textual isolada foi alcançado pelas arquiteturas testadas.

The digital era has ushered in a new paradigm in the financial market, characterized by an explosion of unstructured textual data containing crucial signals for decision-making. Given the speed with which markets react to the information flow, manual interpretation of these data becomes unfeasible, demanding the use of Natural Language Processing (NLP) to capture market mood and perceptions in an automated manner. This work presents a comparative case study evaluating the performance of FinBERT, RoBERTa, FastText, and ModernBERT architectures in the task of sentiment analysis of financial news. The FinMarBa dataset was used, whose labels are informed by actual market behavior, providing a more rigorous classification challenge. Experiments were conducted in three progressive phases to mitigate class imbalance: Baseline (v1), Class Weighting (v2), and Refinement with Focal Loss and Label Smoothing (v3). Evaluation was based on the Macro F1-Score to ensure representation of the neutral class. Results showed that FinBERT v3 achieved the highest overall robustness (F1-Macro 0.55), while ModernBERT v3 achieved the highest sensitivity for the neutral class (Recall 52.8%), albeit with a trade-off in positive signal detection. The McNemar statistical test revealed a p-value of 0.8784, indicating technical equivalence between top models and reinforcing that intrinsic market noise acts as a performance-leveling factor. It was concluded that cost-sensitive learning strategies are essential for this domain, and that the theoretical limit of isolated textual performance was reached by the tested architectures.