Percepção prosódica audiovisual de atos de fala na aquisição do português brasileiro

Introdução: A prosódia constitui um recurso central para a marcação da força ilocucionária e para a expressão de atitudes e intenções comunicativas, articulando-se tanto à estrutura linguística quanto à dimensão pragmática da fala (Cole, 2015; Fónagy, 1991, 2001). A manifestação prosódica da força ilocucionária ocorre não apenas no sinal acústico, mas na integração multimodal fala-gesto (McNeill, 1985; 1992; 2005; Rusiewicz, 2011; Gilli-Fivela, 2018) a partir da qual pistas auditivas e visuais funcionam como marcadores prosódicos que, na percepção de fala, contribuem para a reconstrução dos sentidos mobilizados pelo falante (Schwartz et al., 2004; Swerts; Krahmer, 2005, 2008, 2010). Embora a percepção da multimodalidade seja considerada consolidada em adultos (Swerts; Krahmer, 2020), sua aquisição pressupõe um processo que ocorre de forma gradual na infância em função do amadurecimento linguístico, cognitivo e sociopragmático dos sujeitos (Esteve-Gibert; Prieto, 2013; Hübscher et al., 2018; Rusiewicz e Esteve-Gibert, 2018). Com base nessas premissas, este trabalho investiga a percepção de atos de fala diferenciados prosodicamente no Português Brasileiro por pistas auditivas e visuais ao longo do processo de aquisição prosódica e busca cotejar a relevância das pistas de natureza visual para a percepção dos atos de fala no processo de aquisição dessa língua, haja vista que tradicionalmente as pistas de natureza auditiva são privilegiadas nos estudos de percepção de fala e, com efeito, às pistas visuais tende-se a atribuir um estatuto acessório ou compensatório em relação às pistas auditivas quando as condições de apresentação dessas últimas é limitada ou problemática (Munhall et al., 1996; Barkhuysen; Krahmer; Swerts, 2010; Pilling; Thomas, 2011). Objetivos: 1) comparar a acurácia perceptual de diferentes grupos etários na identificação de atos de fala diferenciados prosodicamente por pistas auditivas e visuais; 2) avaliar o efeito de pistas prosódicas auditivas e visuais na percepção dos diferentes atos de fala pelos grupos etários; e 3) verificar se, em condição de estímulos com ruído, as pistais visuais exerceriam um efeito compensatório na identificação dos diferentes atos de fala pelos grupos etários. O trabalho se justifica pela necessidade de se levantar dados de referência sobre o desempenho perceptual prosódico de crianças brasileiras e, ainda, pela relevância de se mapear mudanças que ocorrem ao longo da aquisição no que diz respeito ao modo como as crianças percebem auditiva e visualmente a força ilocucionária marcada prosodicamente nos atos de fala. Método: Participaram da pesquisa 90 crianças, de 4 a 12 anos, organizadas em 4 grupos etários, e um grupo de 20 adultos, totalizando 110 participantes. O grupo de adultos foi utilizado como parâmetro de comparação por representar o modelo linguístico alvo no processo de aquisição da linguagem (Clark, 2009), enquanto a organização das crianças por faixas etárias baseia-se na concepção de que a aquisição ocorre de forma gradual, não linear e heterogênea, especialmente nas competências pragmáticas e discursivas (Tomasello, 2003; Snow, 1995). Por meio do software Open Sesame, aplicou-se experimento de percepção audiovisual de diferentes atos de fala. No experimento, os participantes tinham como tarefa identificar os estímulos como declaração, pergunta, ordem ou pedido. Os estímulos foram apresentados em quatro modalidades: apenas auditiva (AO); apenas visual (VO); audiovisual congruente (AV+) e audiovisual incongruente (AV-). Em termos linguísticos, os estímulos foram compostos pela sentença “Vamos”, que foi enunciada por falante adulta do português brasileiro como declaração, pergunta, ordem e pedido. Na produção da falante, a diferenciação desses atos de fala contou com marcadores prosódicos acústicos e gestuais, os quais foram devidamente descritos para a caracterização dos estímulos. A aplicação do experimento foi dividida em duas etapas. Na primeira etapa, os estímulos foram apresentados sem ruído. Na segunda etapa, os estímulos envolvidos foram os mesmos, porém contavam com ruído sobreposto. Para a análise dos resultados, mensurou-se o percentual de identificação de cada ato de fala nas modalidades AO, VO e AV+; a preferência perceptual (auditiva ou visual) na modalidade AV-; e o índice de efeito visual na identificação de cada ato de fala nas condições com e sem ruído. Os dados obtidos foram analisados por estatística descritiva e inferencial por meio do teste estatístico ANOVA de medidas repetidas. Resultados: Com relação ao objetivo I, comparar a acurácia perceptual de diferentes grupos etários na identificação dos atos de fala, os resultados mostraram que tanto o desempenho perceptual dos grupos quanto o efeito das pistas auditivas e visuais são dependentes do tipo de ato de fala. A ordem foi o ato de fala para o qual todos os grupos apresentaram maior acurácia perceptual, indicando maior saliência perceptual em termos de marcadores auditivos e visuais, enquanto o ato de fala pedido apresentou os menores índices de acurácia, sugerindo maior complexidade prosódica para a percepção. Na percepção de perguntas, maior acurácia foi identificada a partir dos 8 anos, mostrando que, a partir dessa idade, ocorre o refinamento na percepção de contornos entoacionais ascendentes, pistas essas de natureza auditiva identificadas como mais robustas para a identificação desse ato de fala. Já a acurácia perceptual na identificação da declaração variou entre os grupos de crianças e foi identificada como significativamente maior apenas no grupo dos adultos, reforçando que o domínio perceptual dos padrões entoacionais se consolida ao longo da aquisição. Quanto ao objetivo II, sobre o efeito de pistas auditivas e visuais, verificou-se mudança ao longo do processo de aquisição na percepção de declarações e perguntas, pois, para esses atos de fala, as pistas auditivas se mostraram mais predominantes para a percepção dos adultos e de crianças mais velhas em relação a crianças mais novas, porém, na percepção de atos de fala de ordem e pedido, o efeito das pistas visuais se mostrou significativo desde a infância, mantendo-se robusto até a idade adulta. Em relação ao Objetivo III, verificou-se que a presença de ruído não conferiu às pistas visuais um efeito compensatório. Esse resultado indica que a informação visual constitui um componente intrínseco ao próprio ato de fala, participando do processamento perceptivo de maneira integrada, independentemente das condições de degradação acústica. Conclusão: No processo de aquisição da prosódia do Português Brasileiro, a percepção da força ilocucionária marcada prosodicamente é adquirida de forma gradual e heterogênea. Observa-se um aumento da acurácia perceptual à medida que, no processo de aquisição, o ouvinte passa a reconhecer a atuação integrada das pistas auditivas e visuais na sinalização dos atos de fala, considerando que a configuração desse conjunto saliente e indissociável se modifica de acordo com as características semântico-pragmáticas de cada ato de fala. Esse reconhecimento acontece em decorrência do amadurecimento linguístico e sociopragmático dos sujeitos, que permite relacionar determinados marcadores prosódicos auditivos e/ou visuais a contrastes linguísticos e a nuances semântico-pragmáticas dos atos de fala.

Resumo (inglês)

Introduction: Prosody constitutes a central resource for marking illocutionary force and expressing communicative attitudes and intentions, articulating with both the linguistic structure and the pragmatic dimension of speech (Cole, 2015; Fónagy, 1991, 2001). The prosodic manifestation of illocutionary force occurs not only in the acoustic signal but also within the multimodal speech-gesture integration (McNeill, 1985; 1992; 2005; Rusiewicz, 2011; Gilli-Fivela, 2018), through which auditory and visual cues function as prosodic markers that, in speech perception, contribute to the reconstruction of the meanings mobilized by the speaker (Schwartz et al., 2004; Swerts; Krahmer, 2005, 2008, 2010). Although the perception of multimodality is considered well-established in adults (Swerts; Krahmer, 2020), its acquisition presupposes a process that occurs gradually during childhood as a function of the subjects' linguistic, cognitive, and socio-pragmatic maturation (Esteve-Gibert; Prieto, 2013; Hübscher et al., 2018; Rusiewicz & Esteve-Gibert, 2018). Based on these premises, this study investigates the perception of prosodically differentiated speech acts in Brazilian Portuguese via auditory and visual cues throughout the prosodic acquisition process. It also seeks to contrast the relevance of visual cues for speech act perception during the acquisition of this language, given that auditory cues are traditionally favored in speech perception studies and, consequently, visual cues tend to be assigned an accessory or compensatory status relative to auditory cues when the presentation conditions of the latter are limited or problematic (Munhall et al., 1996; Barkhuysen; Krahmer; Swerts, 2010; Pilling; Thomas, 2011). Objectives: 1) to compare the perceptual accuracy of different age groups in identifying speech acts prosodically differentiated by auditory and visual cues; 2) to evaluate the effect of auditory and visual prosodic cues on the perception of different speech acts across age groups; and 3) to verify whether, under noisy stimulus conditions, visual cues exert a compensatory effect on speech act identification across age groups. This work is justified by the need to gather baseline data on the prosodic perceptual performance of Brazilian children, as well as the relevance of mapping changes that occur throughout acquisition regarding how children auditorily and visually perceive the prosodically marked illocutionary force in speech acts. Method: Participants included 90 children, aged 4 to 12 years, organized into 4 age groups, and a group of 20 adults, totaling 110 participants. The adult group served as a benchmark for comparison because it represents the target linguistic model in the language acquisition process (Clark, 2009), while the grouping of children by age is based on the conception that acquisition occurs gradually, non-linearly, and heterogeneously, especially regarding pragmatic and discourse skills (Tomasello, 2003; Snow, 1995). Using Open Sesame software, an audiovisual perception experiment of different speech acts was conducted. In the experiment, the participants' task was to identify the stimuli as a statement, question, command, or request. The stimuli were presented in four modalities: auditory-only (AO); visual-only (VO); congruent audiovisual (AV+); and incongruent audiovisual (AV-). In linguistic terms, the stimuli consisted of the sentence "Vamos" ("Let's go"), which was uttered by a female adult speaker of Brazilian Portuguese as a statement, question, command, and request. In the speaker's production, the differentiation of these speech acts relied on acoustic and gestural prosodic markers, which were duly described for stimulus characterization. The experiment was administered in two stages. In the first stage, stimuli were presented without noise. In the second stage, the same stimuli were used, but with superimposed noise. For data analysis, the study measured the identification percentage of each speech act in the AO, VO, and AV+ modalities; the perceptual preference (auditory or visual) in the AV- modality; and the visual effect index on speech act identification under both noisy and quiet conditions. The data obtained were analyzed using descriptive and inferential statistics via repeated measures ANOVA. Results: Regarding Objective I—comparing the perceptual accuracy of different age groups in identifying speech acts—the results showed that both the perceptual performance of the groups and the effect of auditory and visual cues depend on the type of speech act. Commands were the speech act for which all groups showed the highest perceptual accuracy, indicating greater perceptual salience in terms of auditory and visual markers, whereas requests showed the lowest accuracy rates, suggesting greater prosodic complexity for perception. In the perception of questions, higher accuracy was identified starting at age 8, showing that a refinement in the perception of rising intonation contours occurs from this age onward, with these auditory cues being identified as more robust for the identification of this speech act. Conversely, perceptual accuracy in identifying statements varied among the children's groups and was found to be significantly higher only in the adult group, reinforcing that the perceptual mastery of intonational patterns consolidates throughout acquisition. Regarding Objective II—on the effect of auditory and visual cues—a change was observed throughout the acquisition process in the perception of statements and questions; for these speech acts, auditory cues proved more predominant for adults and older children compared to younger children. However, in the perception of commands and requests, the effect of visual cues was significant from childhood and remained robust into adulthood. Regarding Objective III, it was found that the presence of noise did not grant a compensatory effect to visual cues. This result indicates that visual information constitutes an intrinsic component of the speech act itself, participating in perceptual processing in an integrated manner, regardless of acoustic degradation conditions. Conclusion: In the prosodic acquisition process of Brazilian Portuguese, the perception of prosodically marked illocutionary force is acquired gradually and heterogeneously. An increase in perceptual accuracy is observed as the listener, throughout the acquisition process, begins to recognize the integrated role of auditory and visual cues in signaling speech acts, considering that the configuration of this salient and inseparable set changes according to the semantic-pragmatic characteristics of each speech act. This recognition occurs as a result of the subjects' linguistic and socio-pragmatic maturation, which allows them to map specific auditory and/or visual prosodic markers to linguistic contrasts and semantic-pragmatic nuances of speech acts.

Palavras-chave

Aquisição de linguagem , Análise prosódica (Linguistica) , Atos de fala (Linguistica) , Percepção da fala , Language acquisition , Prosodic analysis (Linguistics) , Speech acts (Linguistics) , Speech perception

Idioma

Português

Citação

Roque, L. M. R. Percepção prosódica audiovisual de atos de fala na aquisição do português brasileiro. 2026. Tese (Doutorado em Ciências da Saúde e Comunicação Humana) - Faculdade de Filosofia e Ciências, Universidade Estadual Paulista (UNESP), Marília, 2026.