Estudo da variação nas métricas do Nilc-Metrix em redações nota mil do Enem: uma abordagem baseada no processamento de linguagem natural - Costa, Jeane Cardoso [UNESP] (Universidade Estadual Paulista (Unesp), 2025)
A presente tese, intitulada "Estudo da variação nas métricas do NILC-Metrix em redações nota Mil do ENEM: uma abordagem baseada no processamento de linguagem natural", tem como objetivo principal analisar as métricas textuais que influenciam a qualidade das redações avaliadas com nota máxima no Exame Nacional do Ensino Médio (ENEM) entre os anos de 2014 e 2023. A pesquisa utiliza a Linguística de Corpus (doravante LC) como base metodológica e teórica, ancorada no Processamento de Linguagem Natural, para explorar padrões linguístico-textuais em textos autênticos de alto desempenho. Configuram parte do aporte teórico deste estudo, Rocco, 1981; Genouvrier; Peytard, 1985; Halliday, 1993; Biderman, 2003; Sinclair, 1991; Berber Sardinha, 2004, 2010; Antunes, 2012; Guerra; Andrade, 2012; Reppen, 2015. Embora o ENEM possua critérios bem definidos para a avaliação textual, a compreensão detalhada sobre quais características linguísticas contribuem significativamente para a nota máxima ainda é insuficiente. Com isso, a pesquisa busca responder às seguintes perguntas: 1. Nas redações nota mil do Enem, existe variação entre os valores mínimos e máximos nas métricas fornecidas pelo NILC-Metrix? 2. Quais métricas do NILC-Metrix mostram maior consistência ou variação nas redações nota mil do Enem? 3. As métricas do NILC-Metrix nas redações nota mil se alinham às competências avaliativas do Enem? A análise baseia-se no uso da ferramenta NILC-METRIX (NILC-USP, 2007), que atribui métricas de coesão, de coerência e de complexidade textual. A metodologia inclui a análise quantitativa (baseada em alguns cálculos estatísticos) e qualitativa de um corpus composto por 279 redações nota mil, processadas para a identificação de aspectos léxico-sintáticos e morfológicos presentes nos textos. Os resultados revelaram que determinadas variações de métricas textuais, como, densidade lexical, complexidade sintática, informações semânticas e morfossintáticas, medidas psicolinguísticas, conectivos, dentre outros, constituem padrões recorrentes em redações nota mil, destacando-se como influentes e alinhados aos critérios de avaliação do ENEM. Além disso, a pesquisa sugere que a integração de tecnologias como o NILC-METRIX no contexto educacional pode apoiar a formação de práticas pedagógicas mais eficazes, fornecendo subsídios para o ensino da escrita e da avaliação textual. Por fim, o estudo reforça a importância do uso de métodos automatizados no avanço da análise linguística e no aprimoramento das práticas de avaliação educacional no Brasil.

The present thesis, entitled "A Study on Variation in NILC-Metrix Metrics in ENEM Top-Scoring Essays: A Natural Language Processing-Based Approach," aims to analyze the textual metrics that influence the quality of essays awarded the highest score in the Exame Nacional do Ensino Médio (ENEM) between 2014 and 2023. The research employs Corpus Linguistics (henceforth CL) as its methodological and theoretical foundation, anchored in Natural Language Processing (NLP), to explore linguistic-textual patterns in authentic high-performance texts. Rocco, 1981; Genouvrier; Peytard, 1985; Halliday, 1993; Biderman, 2003; Sinclair, 1991; Berber Sardinha, 2004, 2010; Antunes, 2012; Guerra; Andrade, 2012; Reppen, 2015, constitute part of the theoretical framework of this study. Although ENEM has well-defined criteria for textual evaluation, a detailed understanding of which linguistic features significantly contribute to achieving the highest score remains insufficient. Thus, this research seeks to answer the following questions: In ENEM top-scoring essays, is there variation between the minimum and maximum values in the metrics provided by NILC-Metrix? Which NILC-Metrix metrics show the greatest consistency or variation in ENEM top-scoring essays? Do the NILC-Metrix metrics in ENEM top-scoring essays align with the exam's evaluative competencies? The analysis is based on the use of the NILC-METRIX tool (NILC-USP, 2007), which assigns metrics related to cohesion, coherence, and textual complexity. The methodology includes quantitative analysis (based on statistical calculations) and qualitative analysis of a corpus comprising 279 top-scoring essays, processed to identify lexico-syntactic and morphological aspects present in the texts. The results revealed certain variations in textual metrics—such as lexical density, syntactic complexity, semantic and morphosyntactic information, psycholinguistic measures, and the use of connectives, among others—constitute recurrent patterns in top-scoring essays, standing out as influential factors in ENEM’s evaluation criteria. Furthermore, the study suggests that integrating technologies like NILC-METRIX into the educational context may support the development of more effective pedagogical practices, providing valuable insights for writing instruction and textual evaluation. Finally, this research reinforces the importance of automated methods in advancing linguistic analysis and improving educational assessment practices in Brazil.
Study of variation in nilc-metrix metrics in enem top-scoring essays: a natural language processing-based approach
Keywords: Linguística de corpus; Ferramenta de análise textual; Enem; Ensino de escrita; Corpus linguistics; Textual analysis tool; Teaching writing