Marina Melo Cialdini Uma proposta de aprimoramentos para faixas de proficiência destinadas à avaliação da pronúncia em um exame para professores de línguas estrangeiras: um produto da análise dos seus critérios avaliativos e da pronúncia dos sons /θ/, /ð/ e [ɫ] em falas de (futuros) professores de língua inglesa São José do Rio Preto 2023 Câmpus de São José do Rio Preto Marina Melo Cialdini Uma proposta de aprimoramentos para faixas de proficiência destinadas à avaliação da pronúncia em um exame para professores de línguas estrangeiras: um produto da análise dos seus critérios avaliativos e da pronúncia dos sons /θ/, /ð/ e [ɫ] em falas de (futuros) professores de língua inglesa Dissertação apresentada como parte dos requisitos para obtenção do título de Mestre em Estudos Linguísticos, junto ao Programa de Pós-Graduação em Estudos Linguísticos, do Instituto de Biociências, Letras e Ciências Exatas da Universidade Estadual Paulista “Júlio de Mesquita Filho”, Câmpus de São José do Rio Preto. Orientador: Prof. Dr. Douglas Altamiro Consolo São José do Rio Preto 2023 Marina Melo Cialdini Uma proposta de aprimoramentos para faixas de proficiência destinadas à avaliação da pronúncia em um exame para professores de línguas estrangeiras: um produto da análise dos seus critérios avaliativos e da pronúncia dos sons /θ/, /ð/ e [ɫ] em falas de (futuros) professores de língua inglesa Dissertação apresentada como parte dos requisitos para obtenção do título de Mestre em Estudos Linguísticos, junto ao Programa de Pós-Graduação em Estudos Linguísticos, do Instituto de Biociências, Letras e Ciências Exatas da Universidade Estadual Paulista “Júlio de Mesquita Filho”, Câmpus de São José do Rio Preto. Comissão Examinadora Prof. Dr. Douglas Altamiro Consolo UNESP – Câmpus de São José do Rio Preto Orientador Profª. Drª Camila Höfling UFSCar – Universidade Federal de São Carlos Profª. Drª Suzi Marques Spatti Cavalari UNESP – Câmpus de São José do Rio Preto São José do Rio Preto 18 de maio de 2023 Ao Edson. AGRADECIMENTOS Ao meu orientador, Prof. Dr. Douglas Altamiro Consolo, pela oportunidade, pela confiança, pelo respeito, pela paciência, pela disponibilidade constante, pelos ensinamentos, por ter sido para mim o verdadeiro modelo de profissionalismo a ser seguido na carreira docente, e por ter me concedido o privilégio de continuar sendo sua orientanda de doutorado pelos próximos quatro anos. À Profa. Dra. Suzi Marques Spatti Cavalari, pelas valiosas sugestões de aprimoramentos para este trabalho no meu Exame de Qualificação, por ter aceitado compor a Comissão Examinadora desta defesa, e pelos ensinamentos nas suas disciplinas, os quais contribuíram significativamente para o meu aperfeiçoamento profissional. À Profa. Dra. Solange Aranha, por ter aceitado compor o corpo suplente do Exame de Qualificação deste trabalho. À Profa. Dra. Ana Lígia Barbosa de Carvalho e Silva, pelas indicações de leituras e de um workshop, os quais tiveram papéis importantíssimos no delineamento desta pesquisa, e pelas úteis sugestões durante o meu Exame de Qualificação. À Profa. Dra. Camila Sthéfanie Colombo, por ter compartilhado os seus arquivos de áudio e de transcrições do teste oral do EPPLE. À Prof. Dra. Camila Höfling, por tantas sugestões de melhorias para este trabalho durante a minha sessão de debate no XIV SELin (2022) e no meu Exame de Qualificação, e por ter aceitado arguir o meu trabalho mais uma vez como membro da Comissão Examinadora desta defesa. À Profa. Dra. Vera Lúcia Teixeira da Silva, pelas úteis contribuições no XIII SELin (2021), e pela disponibilidade em compor o corpo suplente da Comissão Examinadora da defesa desta dissertação. À Profa. Dra. Paula Tavares Pinto, por ter aceitado compor o corpo suplente da Comissão Examinadora da defesa deste trabalho. Aos servidores da Seção Técnica de Pós-Graduação, por terem sempre respondido as minhas dúvidas e atendido às minhas solicitações de forma solícita e eficiente. À bibliotecária Gislaine de Lourdes Gameiro, pelo auxílio na revisão das referências bibliográficas desta dissertação. Aos respondentes do questionário, pela disponibilidade e pelo interesse em participar da minha pesquisa. Aos especialistas em avaliação, por terem gentilmente aceitado oferecer as suas contribuições a este estudo. À Ana Claudia Martins, por ser a minha companheira nessa jornada, pelos conhecimentos compartilhados e pela demonstração de afeto no dia em que nos conhecemos pessoalmente. À minha querida professora Caroline Alves Stecker, por ter me proporcionado uma atividade que tanto contribuiu para a manutenção da minha saúde física e mental. Aos meus pais, Sheilah e Antonio, por compreenderem os meus longos períodos de ausência. À Manhosa e à Lisa, por terem ficado ao meu lado durante todo o período de execução deste trabalho. À Nininha (in memoriam), pela companhia constante, embaixo da minha mesa, durante os primeiros seis meses desta jornada. Ao meu marido, Edson Carlos Cialdini, atribuo grande parte do mérito de ter chegado até aqui e o agradeço: pelo incentivo à minha candidatura no processo seletivo; pelo interesse (e pela paciência) com que me ouviu falando incessantemente sobre esta pesquisa nos últimos dois anos; por ter se dedicado sozinho a tarefas cotidianas que são de nossa conjunta responsabilidade para que eu pudesse me dedicar quase inteiramente a este projeto; por atribuir a mim capacidades intelectuais que vão muito além das minhas reais capacidades; e por ter me encorajado a reagir às circunstâncias impostas pela vida. RESUMO Este estudo teve como propósito sugerir aprimoramentos para os descritores das faixas de proficiência analíticas utilizadas para a avaliação do aspecto “pronúncia” no teste oral do EPPLE (Exame de Proficiência para Professores de Línguas Estrangeiras). Para tanto, foram conduzidos, em 53 amostras de desempenho oral de professores de língua inglesa em exercício e em formação, o exame da relevância dos critérios presentes nas referidas faixas de proficiência – a entoação para destacar palavras-chave no enunciado, a tonicidade nas palavras, e variações na produção de vogais e consoantes –, assim como a investigação dos padrões de produção dos segmentos /θ/, /ð/ e [ɫ]. Esse material é referente a 29 gravações do teste oral do EPPLE e a 24 gravações de aulas de uma disciplina de língua inglesa de um curso de Licenciatura em Letras de uma universidade pública paulista, nas quais os licenciandos apresentam seminários na língua alvo. O software Phon foi utilizado para a geração e para a análise dos dados das gravações. Os procedimentos metodológicos empregados neste trabalho o qualificam como um estudo de caso exploratório-descritivo, no qual realizou-se a triangulação de dados de naturezas qualitativa e quantitativa. Visando a obtenção de dados que viessem a contribuir para a confiabilidade das constatações alcançadas nesta investigação no tocante à relevância dos critérios avaliativos das faixas de proficiência supramencionadas, foram solicitados os pareceres de quatro especialistas em avaliação de línguas estrangeiras quanto à avaliação dos desempenhos orais dos licenciandos em Letras que apresentam seminários em uma disciplina de língua inglesa. Recorreu-se ainda a uma comparação entre os critérios presentes nas faixas de proficiência que foram objeto deste estudo aos critérios de avaliação dos aspectos correspondentes das faixas do Common European Framework of Reference for Languages (Quadro Comum Europeu de Referência para Línguas) e dos exames do Cambridge Assessment English. Ademais, um questionário foi aplicado a sete professores de língua inglesa com o intuito de verificar as suas percepções sobre a pronúncia dos segmentos /θ/, /ð/ e [ɫ]. Como resultado desta investigação, foi elaborada uma proposta de aprimoramentos para as faixas de proficiência analíticas do aspecto “pronúncia” do teste oral do EPPLE, a partir da disposição homogênea dos seus critérios avaliativos. Com o objetivo de disponibilizar informações que auxiliem os examinadores na interpretação das faixas de proficiência reelaboradas, produziu-se um documento complementar, no qual apresentam-se os conceitos dos critérios propostos, bem como suas referências qualitativas e quantitativas. Palavras-chave: Avaliação. Pronúncia. Língua inglesa. Proficiência oral. EPPLE. ABSTRACT This study aimed at suggesting improvements in the descriptors of the analytic proficiency bands used to assess pronunciation in the EPPLE (Proficiency Examination for Foreign Language Teachers) oral test. Accordingly, an analysis about the relevance of the criteria that is present in these proficiency bands – nuclear stress, lexical stress, and deviations in the production of consonant and vowel sounds –, and the investigation of the production patterns of the sounds /θ/, /ð/, and [ɫ] were carried out in 53 oral production samples of in-service and pre-service English teachers. This material refers to 29 recordings of the EPPLE oral test and to 24 recordings of English lessons in a Letters course of a public university located in the state of São Paulo, in which the undergraduates give presentations using the target language. The data from these recordings were processed and analysed with the software Phon. The research methodology is characterized as an exploratory-descriptive case study, in which quantitative and qualitative data were triangulated. Aiming at obtaining data that would contribute to the reliability of the findings that had been reached in respect of the relevance of the criteria of the aforementioned proficiency bands, four foreign language assessment specialists were invited to assess the oral production samples that pertain to the presentations of the Letters undergraduate students. Additionally, a comparison was carried out between the phonological aspects which are used as criteria for the assessment of pronunciation in the EPPLE oral test, in the Common European Framework of Reference for Languages and in the Cambridge Assessment English proficiency bands. Furthermore, a questionnaire was administered to seven English teachers, in order to investigate their conceptions of the pronunciation of the segments θ/, /ð/, and [ɫ]. This investigation resulted in a proposal of improvements for the analytic proficiency bands used to assess pronunciation in the EPPLE oral test, in which the criteria are homogeneously presented. In addition, with the purpose of helping the examiners with the interpretation of the reformulated proficiency bands, a supplementary document was produced with the criteria definitions, as well as their qualitative and quantitative references. Keywords: Assessment. Pronunciation. English. Oral proficiency. EPPLE. LISTA DE ILUSTRAÇÕES Figuras Figura 1 - Círculo vicioso de aspectos insatisfatórios que afetam o ensino da LI e a formação de professores no Brasil .......................................................................................................... 20 Figura 2 - Efeitos esperados da aplicação do EPPLE no ciclo de baixa proficiência linguística descrito por Consolo (2008; 2017) .......................................................................................... 21 Figura 3 - A escala de proficiência analítica utilizada na avaliação dos desempenhos orais no EPPLE ..................................................................................................................................... 41 Figura 4 - A Árvore de Decisão de Desempenho do aspecto “pronúncia”, elaborada por Oliveira (2021a) ...................................................................................................................... 44 Figura 5 - A competência do professor de língua estrangeira................................................ 47 Figura 6 - Representação da noção técnica de proficiência ................................................... 48 Figura 7 - A articulação das características da proficiência oral do professor de língua estrangeira ............................................................................................................................... 49 Figura 8 - O posicionamento da língua durante a produção das consoantes fricativas /θ/ e /ð/ no inglês britânico ................................................................................................................... 50 Figura 9 - O posicionamento da língua durante a produção das consoantes fricativas /θ/ e /ð/ no inglês americano ................................................................................................................ 50 Figura 10 - Processo de assimilação progressiva, no qual /ð/ passar a ter o som de [d] ....... 52 Figura 11 - Representação da semelhança acústica entre as fricativas /θ/ e /f/ ..................... 52 Figura 12 - A produção da consoante lateral /l/ e do seu alofone [ɫ] ..................................... 57 Figura 13 - A articulação secundária na produção da consoante lateral velarizada [ɫ], segundo Sproat e Fujimura (1993) ........................................................................................................ 58 Figura 14 - A delimitação geográfica do General American English ................................... 66 Figura 15 - A triangulação de dados nesta investigação ........................................................ 84 Figura 16 - A triangulação de pareceres de avaliadores nesta investigação .......................... 85 Figura 17 - A interação das diferentes fontes de dados nesta investigação ........................... 86 Figura 18 - Tela inicial do software CLAN ........................................................................... 92 Figura 19 - Tela inicial do software Phon ............................................................................. 93 Figura 20 - Imagem de uma janela de trabalho do software Phon ........................................ 97 Figura 21 - Exemplo de um trecho de uma transcrição de uma amostra de desempenho oral no software Phon ...................................................................................................................101 Figura 22 - Exemplo de parte de um relatório sobre a produção do som /θ/, emitido no software Phon ....................................................................................................................... 102 Figura 23 - Síntese das etapas e dos procedimentos para a geração dos dados em cada amostra de desempenho oral ................................................................................................ 104 Figura 24 - Síntese das etapas e dos procedimentos para a análise de dados ..................... 104 Figura 25 - As pastas compartilhadas com os especialistas em avaliação na plataforma Google Drive ........................................................................................................................ 106 Figura 26 - Exemplo do interior de uma pasta compartilhada com um especialista em avaliação de línguas estrangeiras ......................................................................................... 107 Figura 27 - Representação da divisão dos desempenhos em satisfatórios e insatisfatórios e suas respectivas subdivisões ................................................................................................ 131 Gráficos Gráfico 1 - A produção do som /θ/ nas amostras de desempenho do teste oral do EPPLE ................................................................................................................................................ 113 Gráfico 2 - A produção do som /ð/ nas amostras de desempenho do teste oral do EPPLE ................................................................................................................................................ 114 Gráfico 3 - A produção do som [ɫ] nas amostras de desempenho do teste oral do EPPLE ................................................................................................................................................ 115 Gráfico 4 - A produção do som /θ/ nas amostras de desempenho oral de alunos de um curso de Letras ................................................................................................................................ 121 Gráfico 5 - A produção do som /ð/ nas amostras de desempenho oral de alunos de um curso de Letras ................................................................................................................................ 122 Gráfico 6 - A produção do som [ɫ] nas amostras de desempenho oral de alunos de um curso de Letras ................................................................................................................................ 123 Gráfico 7 - A produção do som /θ/ nas amostras de desempenho do teste oral do EPPLE e de alunos de um curso de Letras ................................................................................................ 127 Gráfico 8 - A produção do som /ð/ nas amostras de desempenho do teste oral do EPPLE e de alunos de um curso de Letras ................................................................................................ 128 Gráfico 9 - A produção do som [ɫ] nas amostras de desempenho do teste oral do EPPLE e de alunos de um curso de Letras ................................................................................................ 129 Gráfico 10 - A produção do som /θ/ de acordo com o nível de proficiência ....................... 138 Gráfico 11 - A produção do som /ð/ de acordo com o nível de proficiência ....................... 139 Gráfico 12 - A produção do som [ɫ] de acordo com o nível de proficiência ........................140 Quadros Quadro 1 - Os seis aspectos fundamentais que devem caracterizar os exames de proficiência, segundo Bachman e Palmer (1996) .............................................................. 32 Quadro 2 - Especificações do teste oral do EPPLE ............................................................... 36 Quadro 3 - A escala de proficiência holística utilizada para a avaliação dos desempenhos orais no EPPLE ....................................................................................................................... 38 Quadro 4 - Glossário dos termos utilizados na caracterização das escalas de proficiência do teste oral do EPPLE ................................................................................................................ 42 Quadro 5 - Functional Load de pares mínimos envolvendo os fonemas /θ/ e /ð/ ................ 78 Quadro 6 - Códigos utilizados nas transcrições ..................................................................... 98 Quadro 7 - Divergências entre esta investigação e o trabalho de Oliveira (2021a) na avaliação de onze desempenhos orais de candidatos ao EPPLE ........................................................... 118 Quadro 8 – Desvios segmentais produzidos isoladamente que poderiam comprometer a inteligibilidade ...................................................................................................................... 132 Quadro 9 – Síntese dos critérios característicos de cada faixa de proficiência ....................134 Quadro 10 - Considerações preliminares para o aprimoramento das faixas de proficiência do aspecto “pronúncia” do teste oral do EPPLE ........................................................................ 134 Quadro 11 - Comparação entre a classificação inicial e a classificação pós-triangulação dos desempenhos orais avaliados nesta investigação .................................................................. 136 Quadro 12 - Comparações entre as classificações atribuídas às amostras do Grupo 1 por esta pesquisadora e pelos especialistas 1 e 3 ................................................................................ 144 Quadro 13 - Comparações entre as classificações atribuídas às amostras do Grupo 2 por esta pesquisadora e pelos especialistas 2 e 4 ................................................................................ 150 Quadro 14 - Comparação entre a classificação pós-triangulação e a classificação final dos desempenhos orais dos alunos da disciplina “Língua Inglesa” ............................................. 156 Quadro 15 - As observações dos especialistas em avaliação em relação aos descritores das faixas de proficiência analíticas do teste oral do EPPLE ...................................................... 158 Quadro 16 - Comparação dos critérios de avaliação da pronúncia nas faixas analíticas do teste oral do EPPLE, no CEFR e nos exames do Cambridge Assessment English ...............166 Quadro 17 - Descrição da articulação do som /θ/ pelos respondentes do questionário ................................................................................................................................................177 Quadro 18 - Descrição da articulação do som /ð/ pelos respondentes do questionário .......178 Quadro 19 - Descrição da articulação do som [ɫ] pelos respondentes do questionário ....... 179 Quadro 20 – Índices percentuais de produção dos sons /θ/, /ð/ e [ɫ] de acordo com a forma padrão em cada nível de proficiência, gerados após o procedimento de triangulação ..........182 Quadro 21 – Proposta de aprimoramentos para as faixas de proficiência analíticas do aspecto “pronúncia” do teste oral do EPPLE ..................................................................................... 185 Quadro 22 – Proposição de um guia para a interpretação das faixas de proficiência .......... 186 Tabelas Tabela 1 - As substituições dos sons /θ/, /ð/ e [ɫ] em localidades onde a LI é língua corrente .................................................................................................................................................. 69 Tabela 2 - O Lingua Franca Core, de Jenkins (2000) ........................................................... 75 LISTA DE ABREVIATURAS E SIGLAS AAVE – African American Vernacular English BNCC – Base Nacional Comum Curricular CEFR – Common European Framework of Reference for Languages CLAN – Computerized Language Analysis CPE – Certificate of Proficiency in English EBBs – Empirically derived, Binary choice, Boundary definition scales EE – Estuary English ENAPLE-CCC – Ensino e Aprendizagem de Língua Estrangeira: crenças, construtos e competências EPPLE – Exame de Proficiência para Professores de Língua Estrangeira FCE – First Certificate in English FL – Functional Load GAE – General American English ILF – Inglês como língua franca IPA – International Phonetic Alphabet LFC – Lingua Franca Core LE – língua estrangeira LI – língua inglesa L2 – segunda língua MG – Minas Gerais N/A – Não aplicável RP – Received Pronunciation SP – São Paulo TCLE – Termo de Consentimento Livre e Esclarecido UCLA – University of California, Los Angeles SUMÁRIO 1 INTRODUÇÃO ..........................................................................................................19 1.1 Organização da dissertação ...................................................................................... 25 2 CAPÍTULO I: FUNDAMENTAÇÃO TEÓRICA .................................................. 29 2.1 A avaliação da proficiência de línguas estrangeiras: uma revisão terminológica ...................................................................................................................................... 29 2.2 O EPPLE (Exame de Proficiência para Professores de Língua Estrangeira) ...................................................................................................................................... 35 2.2.1 O trabalho de Oliveira (2021a) .................................................................................... 43 2.3 A proficiência oral do professor de língua estrangeira como manifestação das suas competências linguístico-comunicativas .......................................................... 46 2.4 Características e particularidades dos sons /θ/ e /ð/ ............................................... 49 2.5 A produção das fricativas interdentais /θ/ e /ð/ por aprendizes brasileiros ......... 53 2.6 Características e particularidades do som [ɫ] .......................................................... 56 2.7 A produção da consoante lateral velarizada [ɫ] por aprendizes brasileiros ......... 59 2.8 A pronúncia dos sons /θ/, /ð/ e [ɫ] no inglês britânico ............................................. 62 2.9 A pronúncia dos sons /θ/, /ð/ e [ɫ] no inglês americano ........................................... 65 2.10 A pronúncia dos sons /θ/, /ð/ e [ɫ] em outras variantes da língua inglesa ............. 67 2.11 A noção de marcação ................................................................................................. 69 2.12 Definições de “inteligibilidade” e “compreensibilidade” ........................................71 2.13 O Lingua Franca Core, de Jenkins (2000): um estudo sobre a inteligibilidade da língua inglesa .............................................................................................................. 73 2.14 A classificação da inteligibilidade de aspectos segmentais segundo o Princípio Functional Load ..........................................................................................................78 2.15 O capítulo em resumo ................................................................................................79 3 CAPÍTULO II: METODOLOGIA DA PESQUISA ............................................... 82 3.1 Natureza da pesquisa ................................................................................................. 82 3.2 Geração e análise de dados das gravações ............................................................... 87 3.2.1 As amostras de desempenho do teste oral do EPPLE: contexto e participantes da pesquisa ....................................................................................................................... 87 3.2.2 As amostras de falas de licenciandos em Letras: contexto e participantes da pesquisa ...................................................................................................................................... 89 3.2.3 O percurso metodológico: softwares, procedimentos e etapas .................................... 91 3.3 Os pareceres de especialistas em avaliação de línguas estrangeiras: contexto e participantes da pesquisa ........................................................................................ 105 3.4 O questionário: contexto e participantes da pesquisa .......................................... 107 3.5 O capítulo em resumo .............................................................................................. 109 4 CAPÍTULO III: ANÁLISE DOS DADOS E DISCUSSÃO ................................. 111 4.1 Resultados da análise dos dados das amostras de desempenho do teste oral do EPPLE e discussão ................................................................................................... 112 4.1.1 Resultados da análise da produção dos sons /θ/, /ð/ e [ɫ] ........................................... 112 4.1.2 Resultados da análise dos aspectos referentes aos critérios de avaliação da pronúncia nas faixas de proficiência analíticas do teste oral do EPPLE .................................... 116 4.2 Resultados da análise dos dados das gravações de aulas de uma disciplina de LI de um curso de Letras e discussão .......................................................................... 120 4.2.1 Resultados da análise da produção dos sons /θ/, /ð/ e [ɫ] ........................................... 121 4.2.2 Resultados da análise dos aspectos referentes aos critérios de avaliação da pronúncia nas faixas de proficiência analíticas do teste oral do EPPLE .................................... 124 4.3 Triangulação dos dados obtidos nas amostras de desempenho oral ....................126 4.4 Os pareceres dos especialistas em avaliação ..........................................................141 4.4.1 A avaliação dos desempenhos orais .......................................................................... 142 4.4.2 Ponderações dos especialistas em avaliação sobre as faixas de proficiência analíticas do aspecto “pronúncia” do teste oral do EPPLE ........................................................157 4.5 Os critérios de avaliação da pronúncia: as faixas analíticas do teste oral do EPPLE em comparação com o CEFR e com as faixas dos testes orais do Cambridge Assessment English ................................................................................162 4.6 Resultados da análise dos dados do questionário e discussão .............................. 173 4.7 Conclusão .................................................................................................................. 181 4.8 O capítulo em resumo .............................................................................................. 188 5 CONSIDERAÇÕES FINAIS ...................................................................................191 REFERÊNCIAS ....................................................................................................... 197 ANEXOS ................................................................................................................... 208 Anexo A – CEFR: Qualitative Features of Spoken Language (Phonology) …………………………………………………………………………………...…. 208 Anexo B – Cambridge Assessment pronunciation bands (analytical scale) ……………………………………………………………………………………… 210 APÊNDICES ............................................................................................................ 212 Apêndice A – Informações sobre as amostras de desempenho do teste oral do EPPLE ...................................................................................................................... 212 Apêndice B – Informações sobre as amostras de desempenho oral de alunos de uma disciplina de LI de um curso de Letras ........................................................ 213 Apêndice C – Quadros elaborados para a análise dos desempenhos orais, com base nos critérios presentes nas faixas de proficiência analíticas do aspecto “pronúncia” do teste oral do EPPLE .................................................................... 214 Apêndice D – Síntese da análise das amostras de desempenho do teste oral do EPPLE, incluindo uma comparação com o trabalho de Oliveira (2021a) ......... 237 Apêndice E – Síntese da análise das amostras de desempenho oral de alunos de uma disciplina de LI de um curso de Licenciatura em Letras ............................ 239 Apêndice F – Desempenhos satisfatórios .............................................................. 241 Apêndice G – Desempenhos insatisfatórios .......................................................... 245 Apêndice H – Instruções e informações relevantes aos especialistas em avaliação .................................................................................................................................... 248 Apêndice I – Documento compartilhado com os especialistas em avaliação .................................................................................................................................... 250 Apêndice J – O questionário .................................................................................. 255 Apêndice K – Termo de Consentimento Livre e Esclarecido (TCLE) ............... 260 Apêndice L – Detalhamento das respostas do questionário ................................ 261 INTRODUÇÃO 19 1 INTRODUÇÃO A avaliação da proficiência de uma língua estrangeira (doravante LE) consiste na inferência acerca do nível de competência de um candidato de fazer uso da língua em uma situação futura (McNAMARA, 2000; SCARAMUCCI, 2000). Para a mensuração de níveis de proficiência linguística, são utilizadas escalas de proficiência nas quais são descritos os aspectos específicos – os critérios – aos quais os examinadores devem se atentar durante a observação do desempenho de um candidato. Isto posto, a elaboração de escalas de proficiência para a avaliação de desempenhos orais, consiste, em linhas gerais, na tentativa de se definir objetivamente o que significa falar uma LE em um determinado contexto a partir do estabelecimento de parâmetros que guiarão o processo avaliativo. Utiliza-se a palavra “tentativa” nesta exemplificação devido aos desafios enfrentados pelos especialistas em avaliação durante a elaboração desses instrumentos. Discernir qual informação será incluída nos descritores e garantir que essas informações serão interpretadas correta e consistentemente pelos examinadores são apontadas por Harding (2017) como duas dificuldades inerentes ao processo de construção de escalas de proficiência. Uma revisão bibliográfica conduzida por Fulcher (1994) aponta que há pouco consenso entre os autores da área de avaliação de LEs no que concerne a qualidade e a quantidade das informações que devem constar em escalas de proficiência. Enquanto alguns estudiosos, de acordo com o referido autor, defendem que as escalas sejam produzidas com o máximo de detalhamento, outros postulam que a sua apresentação seja o mais concisa possível. Segundo Bachman (1990), uma interpretação válida da classificação atribuída a um desempenho em um exame de proficiência depende do quão adequada tenha sido estabelecida a associação entre o nível de proficiência e as habilidades as quais desejam-se que ela represente. Considerando o papel fundamental dos descritores de escalas de proficiência no estabelecimento dessa associação, este trabalho justifica-se pela necessidade de se analisar a confiabilidade dos descritores de uma escala de proficiência utilizada para a avaliação da produção oral de candidatos ao EPPLE (Exame de Proficiência para Professores de Línguas Estrangeiras). O EPPLE foi criado diante das lacunas na formação de professores de LEs no contexto brasileiro. Almeida Filho (1992), ao refletir sobre esse problema, afirma ser comum que os egressos dos cursos de Licenciatura em Letras não tenham as capacidades linguísticas e teórico- pedagógicas necessárias para exercer a sua função como professores de LE de forma satisfatória. No que concerne o professor de LI, especificamente, observa-se um escasso 20 conhecimento dos aspectos fonético-fonológicos da língua, assim como um sentimento de insegurança de ter de exercer a sua função sem ter desenvolvido as competências comunicativas necessárias durante a sua formação (POW, 2018). Também podemos responsabilizar o sistema educacional brasileiro pelo escasso conhecimento fonológico do professor de LI: há uma tendência que prioriza a leitura nas aulas de LI em detrimento da compreensão e da produção oral. Como consequência, a maioria dos futuros professores de escolas de educação básica ingressa nos cursos de Letras sem possuir a proficiência oral necessária para o exercício da sua função e tampouco a adquirem durante a graduação. Assim, muitos desses alunos licenciam-se sem ter alcançado um nível satisfatório de proficiência oral para ensinar a LI, perpetuando, segundo Consolo (2008; 2017), um círculo vicioso em nosso sistema educacional. Uma ilustração desse raciocínio encontra-se na figura 1, a seguir. Figura 1: Círculo vicioso de aspectos insatisfatórios que afetam o ensino da LI e a formação de professores no Brasil Fonte: Consolo (2017, p. 64); Baffi Bonvino (2010, p.14, adaptado de Consolo, 2008). Diante desse cenário, o EPPLE tem como objetivos impactar as políticas educacionais que norteiam os cursos de Letras e pautar critérios de contratação de professores no contexto brasileiro (CONSOLO; TEIXEIRA DA SILVA, 2014), de modo que possa reverter os efeitos do círculo vicioso de baixa proficiência do professor de LI (CONSOLO, 2008; 2017). Uma representação visual dos efeitos esperados da implementação do EPPLE no Brasil é disponibilizada na figura 2, a seguir. 21 Figura 2: Efeitos esperados da aplicação do EPPLE no ciclo de baixa proficiência linguística descrito por Consolo (2008; 2017) Fonte: Oliveira (2021a, p. 19). O EPPLE se propõe a aferir a proficiência linguístico-comunicativo-pedagógica do professor de LE pré-serviço e em exercício nas quatro habilidades linguísticas: compreensão oral, compreensão escrita, produção oral e produção escrita. Por se tratar de um instrumento avaliativo que se encontra em fase de desenvolvimento, trabalhos visando o seu aperfeiçoamento são constantemente desenvolvidos pelos membros do grupo de pesquisa ENAPLE-CCC (Ensino e Aprendizagem de Língua Estrangeira: crenças, construtos e competências). Almeja-se, portanto, que o EPPLE se torne um exame de abrangência nacional (COLOMBO, 2019). Para a avaliação da proficiência oral dos candidatos ao EPPLE, os examinadores contam com duas escalas de proficiência: uma escala holística (CONSOLO; TEIXEIRA DA SILVA, 2014) e uma escala analítica (OLIVEIRA, 2021a). Nas escalas holísticas, como a própria denominação indica, o processo avaliativo é conduzido com base nas impressões gerais dos desempenhos. Desse modo, os níveis de proficiência são caracterizados por informações abrangentes, porém focalizadas em aspectos salientes da produção oral (HILL; STORCH, 1994; OLIVEIRA, 2021a). Logo, a utilização desse tipo de escala consiste na atribuição de um único conceito de proficiência. Nas escalas analíticas, por sua vez, os componentes da proficiência linguística são apresentados separadamente, ou seja, como categorias que são avaliadas de forma 22 independente. A fim de exemplificação, na escala analítica utilizada para a avaliação dos desempenhos orais no EPPLE, os diferentes aspectos da fala (“pronúncia”, “fluência”, “precisão gramatical”, “precisão do vocabulário” e “metalinguagem e conhecimento específico”) são avaliados separadamente. Sendo assim, é possível que conceitos distintos sejam atribuídos a cada um desses aspectos. A escala de proficiência analítica utilizada para a avaliação dos desempenhos orais no EPPLE foi recentemente desenvolvida por Oliveira (2021a) por meio do emprego de uma metodologia baseada em perguntas binárias e em árvores de decisão de desempenho. Essa metodologia, cuja descrição é disponibilizada na subseção 2.2.1 desta dissertação, foi aplicada pelo pesquisador a um conjunto de amostras de desempenho do teste oral do EPPLE. Ao concluir o seu trabalho, Oliveira (2021a) aponta que os critérios avaliativos presentes na escala por ele elaborada carecem de validação e, portanto, recomenda que estudos futuros os discutam quanto à sua relevância para a delimitação dos níveis de proficiência. Por conseguinte, o presente estudo pretende contribuir para a revisão dos descritores da escala de proficiência analítica utilizada para a avaliação dos desempenhos orais no EPPLE em vista dos encaminhamentos propostos pelo seu elaborador. Esta investigação é conduzida no âmbito do conjunto de faixas referentes ao aspecto “pronúncia” na escala de proficiência produzida por Oliveira (2021a). Focaliza-se, portanto, na análise dos critérios de avaliação estabelecidos pelo autor na caracterização das faixas de proficiência – a saber, a entoação para destacar elementos importantes no enunciado, a tonicidade nas palavras e a variação na produção de vogais e consoantes –, assim como na análise de três sons específicos da LI – a saber, os segmentos /θ/, /ð/ e [ɫ]. Os sons /θ/ e /ð/ – “fricativa interdental desvozeada” e “fricativa interdental vozeada”, respectivamente – são inexistentes no inventário fonológico da língua portuguesa (PAGOTO DE SOUZA, 2012), enquanto o som [ɫ] – consoante lateral velarizada – é existente no português europeu e em apenas alguns dialetos do sul do Brasil (COLLISCHONN; QUEDNAU, 2009). A escolha por analisar a produção dos segmentos em questão concomitantemente à análise dos critérios avaliativos presentes nas faixas de proficiência analíticas do aspecto “pronúncia” (OLIVEIRA, 2021a) do teste oral do EPPLE fundamenta-se em uma motivação pessoal da pesquisadora responsável por este trabalho. Ao longo dos anos em que ministrou aulas de LI, esta pesquisadora se atentou à existência de dificuldades e de padrões variáveis de produção dos referidos segmentos em falas de alunos e de colegas de profissão. Essa tendência é corroborada por estudos anteriores, nos quais detectaram-se as substituições de /θ/, /ð/ e [ɫ] por [f] ou [t], [d] e [w], respectivamente (REIS, 2006; LEITÃO, 2007; TREVISOL, 2010; 23 BARATIERI; 2006; RODRIGUES, 2014; SOUZA, 2010; HAHN, 2010), tanto entre aprendizes quanto entre professores de LI no contexto brasileiro. Interessantemente, essas substituições não são vistas por Jenkins (2000) como fontes de ininteligibilidade e são, do mesmo modo, recorrentes em variantes da LI, conforme o arcabouço teórico apresentado nesta dissertação. O fato de se tratarem de sons com articulação complexa para aqueles que possuem o português brasileiro como língua materna justifica a relevância da sua análise nesta investigação quanto às suas implicações para a proficiência oral do professor de LI e, por conseguinte, para a revisão dos critérios de avaliação das faixas de proficiência do aspecto “pronúncia” do teste oral do EPPLE (OLIVEIRA, 2021a). Frente ao exposto, o objetivo geral desta investigação é sugerir aprimoramentos para os descritores das faixas de proficiência analíticas utilizadas para a avaliação do aspecto “pronúncia” no teste oral do EPPLE (OLIVEIRA, 2021a). Como objetivos específicos, têm-se: (i) o exame da relevância dos critérios propostos por Oliveira (2021a) para a delimitação dos níveis de proficiência nas faixas analíticas do aspecto “pronúncia”; e (ii) a investigação dos padrões de produção dos sons /θ/, /ð/ e [ɫ]. Diante desses objetivos, o presente estudo é norteado pelas seguintes perguntas de pesquisa: 1. Em que medida a análise dos critérios de produção dos sons /θ/, /ð/ e [ɫ] em falas de (futuros) professores de LI poderia contribuir para o aprimoramento das faixas de proficiência do aspecto “pronúncia” do teste oral do EPPLE? 2. Como se caracterizaria uma proposta de (re)delimitação dos critérios de avaliação do aspecto “pronúncia” nas faixas de proficiência analíticas do teste oral do EPPLE, resultante da avaliação de desempenhos orais de (futuros) professores de LI? Para que os objetivos propostos fossem alcançados, realizou-se a avaliação de cinquenta e três amostras de desempenho oral de (futuros) professores de LI. Foram analisados, especificamente, os aspectos das suas falas que correspondem aos critérios de avaliação do aspecto “pronúncia” no teste oral do EPPLE – a saber, a entoação para destacar elementos importantes no enunciado, a tonicidade das palavras e a variação na produção de vogais e consoantes –, assim como os padrões de produção dos sons /θ/, /ð/ e [ɫ]. A título de enriquecimento dos dados obtidos no tocante à produção dos sons /θ/, /ð/ e [ɫ], esta investigação 24 conta com a aplicação de um questionário a sete professores de LI, cujo propósito é a investigação das suas concepções quanto à pronúncia e ao ensino dos sons em questão. As amostras de desempenho oral analisadas nesta investigação situam-se em dois corpora: (i) 29 gravações do teste oral do EPPLE, referentes à aplicação do exame em 2015 e em 2017. O tempo de duração de cada amostra varia de quatro a oito minutos. (ii) 24 gravações de aulas de uma disciplina intitulada “Língua Inglesa” da grade curricular de um curso de Licenciatura em Letras de uma universidade pública localizada no interior do estado de São Paulo, ministradas entre os anos 2020 e 2021 a três turmas que cursavam o último ano do referido curso. Nos trechos selecionados para análise, cuja duração varia entre vinte e trinta minutos, os licenciandos apresentam seminários na língua-alvo. Para a elaboração da escala de proficiência analítica para o teste oral do EPPLE, Oliveira (2021a) fez uso das mesmas amostras de desempenho oral que pertencem ao corpus (i) desta investigação, dentre as quais dezenove foram utilizadas para a elaboração das faixas referentes ao aspecto “pronúncia”. Enquanto a análise de Oliveira (2021a) se concentrou em apenas um trecho dessas amostras – referente à tarefa 5 do teste oral do EPPLE –, devido a uma limitação da metodologia empregada em seu trabalho, considera-se, nesta investigação, o tempo total de duração das gravações. A decisão de utilizar um segundo corpus de análise justifica-se, primeiramente, por um dos encaminhamentos a estudos futuros sugeridos por Oliveira (2021b), segundo o qual a consideração de um número maior de amostras poderia conferir maior confiabilidade aos resultados de trabalhos que se propusessem a revisar os descritores da escala de proficiência elaborada em seu trabalho. Ademais, a consideração das gravações desse segundo corpus se faz relevante nesta investigação devido ao contexto no qual elas se situam. As apresentações de seminários são representativas da realidade de sala de aula na qual os licenciandos atuarão, além configurarem uma situação avaliativa, uma vez que esses (futuros) professores têm o seu desempenho oral avaliado pelo professor da disciplina. O tratamento das amostras de desempenho oral nesta investigação – segmentação, transcrição e análise dos critérios relevantes da produção oral – é realizado por meio da utilização do software Phon (HEDLUND; ROSE, 2020; ROSE; MACWHINNEY, 2014; ROSE, 2020). Informações detalhadas acerca do trabalho realizado no âmbito desse software, 25 bem como os procedimentos empregados em cada etapa de geração e de análise dos dados nesta investigação são disponibilizados no segundo capítulo desta dissertação, destinado à apresentação da metodologia da pesquisa. A apreciação da relevância dos critérios avaliativos propostos por Oliveira (2021a) para a delimitação das faixas de proficiência analíticas do aspecto “pronúncia” é realizada, nesta investigação, a partir do procedimento de triangulação, momento em que são correlacionados os dados obtidos por meio da avaliação das amostras de desempenho oral aos descritores das referidas faixas de proficiência. Visando a obtenção de evidências que ratificassem e complementassem as constatações alcançadas por esta pesquisadora por meio da triangulação de dados, foram solicitados os pareceres de quatro experientes especialistas em avaliação da LI com relação à avaliação das amostras de desempenho oral pertencentes ao segundo corpus analisado nesta investigação. Segundo Oliveira (2021a), a solicitação de opiniões de especialistas em avaliação, assim como a documentação de eventuais discrepâncias entre avaliadores podem desempenhar um papel importante na revisão da escala de proficiência desenvolvida em seu estudo e, consequentemente, podem resultar em sugestões de aprimoramentos para os seus descritores. Esta investigação, portanto, representa uma continuidade e uma ampliação do trabalho de Oliveira (2021a), tendo em vista os encaminhamentos por ele propostos diante das limitações da sua investigação. 1.1 Organização da dissertação Esta dissertação encontra-se organizada em cinco partes. Nesta primeira parte, foram apresentados os elementos introdutórios à investigação: a descrição do tema da pesquisa, as justificativas pela sua escolha, assim como a sua relevância para a área da Linguística Aplicada. Desse modo, foram apresentados os objetivos do EPPLE e seu caráter primordial na busca de melhorias para a proficiência oral do professor de LI e para a formação de professores no contexto brasileiro. Ademais, apresentaram-se, na introdução, os objetivos e as perguntas de pesquisa norteadoras deste estudo. O primeiro capítulo apresenta a fundamentação teórica que embasa esta investigação. Na primeira seção, são explicitados os conceitos relevantes para os estudos da avaliação da proficiência de LEs. Na seção seguinte, são fornecidas informações detalhadas sobre o EPPLE, com ênfase na descrição das tarefas do seu teste oral e na descrição das duas escalas de proficiência utilizadas para a avaliação dos desempenhos orais dos candidatos ao referido 26 instrumento avaliativo – a escala holística e a escala analítica –, seguidas de uma explanação acerca das diferenças entre os dois tipos de escalas. Na subseção 2.2.1, discorre-se sobre o trabalho de Oliveira (2021a), com ênfase na metodologia por ele adotada para o desenvolvimento da escala de proficiência analítica para o teste oral do EPPLE. Com o objetivo de apresentar subsídios que justifiquem as tarefas presentes no teste oral do EPPLE, a terceira seção aborda as competências inerentes ao exercício da função de professor de LE, assim como as particularidades da proficiência linguística desse professor. As seções subsequentes dedicam-se a expor as características sobre a produção dos sons /θ/, /ð/ e [ɫ] a partir da apresentação de conceitos pertinentes do campo da Fonética e da Fonologia, e a discorrer sobre os padrões de realização desses sons em variantes do inglês britânico e do inglês americano, assim como em outras variantes e localidades nas quais a LI também é língua corrente. Ademais, são apresentados estudos que analisaram a produção desses sons em falas de aprendizes e professores brasileiros de LI. Posteriormente, aborda-se a noção de marcação fonológica como explicação às substituições comumente realizadas aos sons em questão. Por fim, discute-se sobre os conceitos de inteligibilidade e compreensibilidade, seguidos da apresentação da perspectiva da fonologia do Inglês como Língua Franca (JENKINS, 2000) e da inteligibilidade de aspectos segmentais segundo o princípio Functional Load. O segundo capítulo se refere à metodologia da pesquisa. Nesta parte, objetiva-se descrever a natureza da investigação ora proposta e apresentar informações – tais como os softwares utilizados, os contextos e os participantes da pesquisa e os procedimentos empregados em cada etapa da geração e da análise dos dados – no tocante às amostras de desempenho oral, aos especialistas em avaliação de LEs convidados a contribuir com este estudo, e a um questionário aplicado a professores de LI em exercício. O terceiro capítulo tem como objetivo detalhar os procedimentos empregados durante a análise dos dados e discorrer sobre os resultados obtidos. Primeiramente, essas informações são apresentadas no âmbito de cada corpus referente às amostras de desempenho oral. Em seguida, esses dados são correlacionados às faixas de proficiência analíticas do aspecto “pronúncia” do teste oral do EPPLE (OLIVEIRA, 2021a) por meio da triangulação, procedimento este que originará considerações preliminares sobre a relevância dos critérios presentes nas referidas faixas de proficiência. Na sequência, são comparadas, por meio de uma análise qualitativa, as classificações atribuídas por quatro especialistas em avaliação e as classificações atribuídas por esta pesquisadora às amostras de desempenho oral de um dos corpora analisado nesta investigação. Objetivando um enriquecimento acerca dos aprimoramentos a serem sugeridos para as faixas de proficiência supracitadas, é realizada, na seção subsequente, uma comparação 27 entre os critérios estabelecidos por Oliveira (2021a) na caracterização do aspecto “pronúncia” com os critérios que qualificam aspectos correspondentes no CEFR (Common European Framework of Reference for Languages ou “Quadro Comum Europeu de Referência para Línguas”) e nas faixas utilizadas para a avaliação dos desempenhos orais nos exames do Cambridge Assessment English. Logo depois, são analisados os dados obtidos por meio da aplicação de um questionário a sete professores de LI, cujo propósito é investigar as suas percepções sobre os segmentos /θ/, /ð/ e [ɫ]. A última seção desse capítulo, por sua vez, traz as respostas às perguntas norteadoras desta investigação. A última parte desta dissertação tenciona trazer, a partir de uma síntese dos resultados obtidos, considerações finais sobre a pesquisa, que por sua vez consistirão nas suas contribuições e limitações, assim como em encaminhamentos para estudos futuros. 28 CAPÍTULO I: FUNDAMENTAÇÃO TEÓRICA 29 2 CAPÍTULO I: FUNDAMENTAÇÃO TEÓRICA Neste capítulo, são apresentados e discutidos os pilares teóricos que alicerçam esta investigação. Conduziu-se uma revisão crítica de teorias das áreas da avaliação de LEs, da Fonética e Fonologia e da inteligibilidade no tocante à pronúncia dos sons /θ/, /ð/ e [ɫ], cujos conceitos e reflexões relevantes para este trabalho são apresentados ao longo deste capítulo. Esta revisão teórica encontra-se dividida nos seguintes temas: uma revisão terminológica sobre a avaliação da proficiência de LEs; informações sobre o teste oral do EPPLE e a apresentação das suas escalas de proficiência: a escala holística e a escala analítica, com foco nesta última e no trabalho responsável pela sua elaboração; as particularidades da proficiência do professor de LE; as características articulatórias dos sons /θ/, /ð/ e [ɫ] em diferentes variantes da LI; estudos sobre a análise da produção dos sons /θ/, /ð/ e [ɫ] em falas de brasileiros; a noção de marcação fonológica; e discussões sobre a inteligibilidade na produção dos sons focalizados neste estudo à luz dos estudos de Jenkins (2000) e do princípio Functional Load. 2.1 A avaliação da proficiência de línguas estrangeiras: uma revisão terminológica A avaliação é uma prática central da vida social que embasa processos de tomadas de decisões (McNAMARA, 2000). São várias as situações nas quais somos avaliados: em entrevistas de emprego, em aplicações de vistos para países estrangeiros, na obtenção de uma carteira de motorista, em consultas médicas, por exemplo. Contudo, é comum que o termo “avaliação” seja associado somente à prática que se desenrola no ambiente escolar, uma vez que nesse contexto ela é conduzida de forma mais explícita. A avaliação escolar é muitas vezes caracterizada, sobretudo, como um mero instrumento autoritário, disciplinador, classificatório e, portanto, pouco inclusivo, cuja função principal é dar notas, com enfoque na promoção do aluno para o ano letivo seguinte (SCARAMUCCI, 1999/2000; LUCKESI, 2008). Essa prática tradicional de avaliação, denominada “avaliação somativa” ou “avaliação da aprendizagem”, é definida por Luckesi (2008, p. 9) como “um juízo de qualidade sobre dados relevantes para uma tomada de decisão”. Nessa perspectiva, a avaliação de uma LE, por exemplo, é elaborada com base em um conteúdo gramatical apresentado aos alunos em uma regularidade bimestral, semestral e/ou anual, com foco no produto da aprendizagem. De outro modo, a avaliação somativa ocorre após o processo de ensino, sendo, portanto, vinculada a um conteúdo ensinado. 30 Em contrapartida, a proposta de “avaliação formativa” caracteriza uma prática que se desenrola durante o processo de ensino. Nessa perspectiva, evidências do progresso dos alunos são coletadas para que sejam utilizadas em tomadas de decisões no tocante ao processo de ensino-aprendizagem, conforme nos dizem Black e William (2009), embasados em contribuições de diversos autores. Ainda segundo Black e William (2009), é importante que os alunos não tenham papel exclusivamente passivo nesse processo. Para isso, a abordagem do professor consiste em fornecer feedback aos alunos acerca dos seus resultados, bem como compartilhar e esclarecer os critérios que embasam o processo de ensino (BLACK; WILLIAM, 2009). Embora se distingam por terem objetivos distintos e por fazerem uso dos resultados de diferentes maneiras, ambas as perspectivas avaliativas supracitadas podem valer-se, muitas vezes, do mesmo instrumento avaliativo. Ao contrário da avaliação no contexto escolar, a avaliação da proficiência de uma LE se relaciona ao uso futuro da língua (McNAMARA, 2000; SCARAMUCCI, 2000). Em outras palavras, na avaliação da proficiência de uma LE infere-se a capacidade do candidato de fazer uso da língua em uma situação futura. Sendo assim, são distintas as bases que alicerçam os instrumentos avaliativos em cada um desses contextos. Segundo Scaramucci (2000, p. 15), enquanto a avaliação escolar é elaborada com base no currículo, a avaliação da proficiência de uma LE “tem um compromisso com o construto teórico e [...] tem suas especificações definidas com base em uma análise de necessidades do público alvo [...]”. O construto é definido por McNamara (2000) como a habilidade ou característica que subjaz o que é avaliado e, nas palavras de Bachman e Palmer (1996, p. 21)1, como “a definição específica de uma habilidade que embasa um determinado instrumento ou tarefa avaliativa e a interpretação da pontuação oriunda dessa avaliação”2. Trata-se, portanto, de uma abstração que não pode ser observada diretamente e, como efeito, precisa ser operacionalizada (QUEVEDO-CAMARGO, 2021). Operacionalizar o construto no contexto de avaliação da proficiência de uma LE significa definir aquilo que será avaliado, assim como a forma como esse aspecto será mensurado (QUEVEDO-CAMARGO, 2021), ou seja, os aspectos que definem o que significa falar uma LE fundamentam a interpretação de uma escala de pontuação utilizada para avaliar os desempenhos em um exame de proficiência. Desse modo, os critérios 1 Todas as traduções presentes neste trabalho são de responsabilidade desta pesquisadora. 2 No original: “we can consider a construct to be the specific definition of an ability that provides the basis for a given test or test task and for interpreting scores derived from this task” (BACHMAN; PALMER, 1996, p. 21). 31 presentes nos descritores de faixas de proficiência representam a materialização do construto, resultante da sua operacionalização (OLIVEIRA, 2021a). No caso do teste oral do EPPLE, os critérios de avaliação presentes nos descritores de ambas as suas escalas de proficiência refletem a competência linguístico-comunicativo-pedagógica que é esperada do professor de LI no âmbito de cada faixa de proficiência, para o uso futuro da língua no contexto de ensino. Ambas as escalas de proficiência utilizadas para a avaliação dos desempenhos orais no EPPLE são apresentadas em detalhes na seção 2.2. Bachman (1990) aponta para a necessidade de que a operacionalização do construto seja feita teoricamente e empiricamente. O autor postula que a definição do construto com base em perspectivas teóricas seja feita de forma precisa, ou seja, livre de ambiguidades. Já a operacionalização do construto de forma empírica, segundo o mesmo autor, é importante para que a sua definição teórica seja associada ao desempenho observável. Logo, é no processo de operacionalização do construto que se estabelece como será aferida a medida em que o construto se encontra presente nos desempenhos avaliados. No entanto, Bachman e Palmer (1996) acrescentam que é essencial que se tenham evidências comprobatórias acerca das interpretações que são feitas com base na atribuição de uma pontuação aos desempenhos avaliados. Em outras palavras, é necessário que sejam coletadas evidências que comprovem que a escala de pontuação utilizada realmente reflete as habilidades linguísticas que os especialistas almejam avaliar (BACHMAN; PALMER, 1996), processo esse que configura a validação do construto. Nesse seguimento, Bachman e Palmer (1996) discorrem sobre seis aspectos fundamentais que devem caracterizar os exames de proficiência, os quais são apresentados no quadro 1, a seguir. 32 Quadro 1: Os seis aspectos fundamentais que devem caracterizar os exames de proficiência, segundo Bachman e Palmer (1996) Aspecto Definição Validade de construto “Se refere à medida em que podemos interpretar a pontuação como indicativa da(s) habilidade(s) ou do(s) construto(s) o(s) qual(is) deseja(m)-se aferir”3. Confiabilidade Está relacionada à consistência do instrumento avaliativo. Autenticidade Se relaciona à equivalência entre as tarefas que os candidatos desempenham em um exame de proficiência de uma LE e as tarefas que eles desempenharão no contexto real em que utilizarão a língua-alvo. Interatividade Corresponde à medida em que se fazem presentes no desempenho dos candidatos as competências que seriam por eles utilizadas em um contexto real de uso da língua. Impacto Se refere às consequências do instrumento de avaliação, as quais podem ser observadas em duas esferas: micro (os indivíduos diretamente afetados pelo instrumento) e macro (o sistema educacional e a sociedade). Praticalidade Diz respeito à relação entre os recursos necessários para o desenvolvimento e a administração de um exame, e os recursos que realmente poderão ser disponibilizados para tal. Fonte: A autora. No quadro 1 são apresentados os aspectos fundamentais que devem caracterizar os instrumentos de avaliação de proficiência linguística, conforme indicados por Bachman e Palmer (1996). A validade de construto designa a interpretação acerca da pontuação atribuída a um desempenho avaliado e a medida em que esta interpretação reflete o construto o qual o instrumento objetiva avaliar. Esse conceito, portanto, está associado à maneira com que as competências avaliadas se encontram dispostas nas faixas de proficiência. Bachman e Palmer (1996) complementam que a validade de construto remete ao domínio de generalização das escalas de pontuação. Com relação ao conceito de confiabilidade, os autores supracitados discorrem, a fim de ilustração, sobre os seguintes contextos: a aplicação de um mesmo exame a um mesmo grupo de indivíduos em dois momentos distintos não implicaria na obtenção de diferentes notas caso esse instrumento fosse confiável; semelhantemente, um indivíduo não obteria notas distintas caso a ele fossem aplicadas duas versões de um mesmo exame. A consistência do instrumento avaliativo, portanto, ocasiona a consistência dos desempenhos, o que, por sua vez, incide na consistência do sistema de pontuação. A autenticidade, por sua vez, diz respeito à proporção em que as competências observadas no desempenho de um candidato refletem as competências necessárias de uso da 3 No original: “to refer to the extent to which we can interpret a given test score as an indicator of the ability(ies), or construct(s), we want to measure” (BACHMAN; PALMER, 1996, p. 21). 33 língua-alvo em situações reais. Os autores refletem que esse aspecto fornece subsídios para que seja investigada a extensão que a interpretação da pontuação de um exame pode ser generalizada, o que faz com que a autenticidade esteja associada à validade de construto. No estudo da interatividade de um instrumento avaliativo, analisa-se a medida de engajamento das características individuais dos candidatos durante a execução de uma tarefa de um exame. O conhecimento linguístico não é por si só relevante na avaliação da proficiência de uma LE. Segundo Bachman e Palmer (1996), a competência estratégica e as estratégicas metacognitivas são, entre outras características, importantes na avaliação de uma LE. O impacto, de acordo com a definição presente no quadro 1, corresponde às consequências da avaliação, as quais podem ser observadas em duas esferas. Na esfera micro encontram-se os indivíduos que são diretamente afetados por um determinado instrumento avaliativo, como por exemplo, os candidatos a um exame de proficiência de larga escala, e os professores que terão de adaptar a sua didática para preparar os seus alunos para esse exame, mesmo que tal prática vá de encontro às suas crenças (BACHMAN; PALMER, 1996). O impacto na esfera macro corresponde às consequências de uma prática avaliativa no sistema de ensino e na sociedade. Como exemplos, podemos citar a demanda para que as escolas de idiomas elaborem os seus currículos com foco na preparação para exames de proficiência reconhecidos internacionalmente, bem como a alta expectativa por parte dos pais dos alunos em relação à obtenção de boas notas, dada a alta reputação de tais exames. A praticalidade, último conceito que se encontra no quadro 1, se refere ao equilíbrio entre os recursos disponíveis para a elaboração e a implementação de um instrumento avaliativo e os recursos que realmente podem ser disponibilizados para tal. A implementação de um exame de proficiência não é viável caso os recursos necessários excedam os recursos disponíveis. Os tipos de recursos necessários para a implementação de um exame são, de acordo com Bachman e Palmer (1996): recursos humanos (desenvolvedores, avaliadores e aqueles responsáveis pela aplicação do exame), recursos materiais (equipamentos, artefatos e locais destinados à aplicação do exame) e recursos temporais (tempo disponível para o desenvolvimento de um exame, e para a correção e a atribuição de notas). Além dos termos supracitados, faz-se ainda relevante discorrer sobre dois outros conceitos importantes na caracterização dos instrumentos avaliativos de proficiência de LEs: os termos avaliação e testagem, traduzidos dos termos assessment e testing, em inglês. O termo assessment é geralmente utilizado de forma intercambiável com o termo evaluation, cuja definição, segundo Bachman (1990), é uma coleta de dados relevantes e 34 confiáveis para uma tomada de decisões, sejam estes dados quantitativos ou qualitativos. Entretanto, esse autor esclarece que avaliar não implica necessariamente na aplicação de um teste e, do mesmo modo, a aplicação de um teste não configura obrigatoriamente uma situação avaliativa. Para esclarecer esse raciocínio, o autor nos diz que a utilização de dados qualitativos com o intuito de detectar problemas de aprendizagem de um aluno configura uma forma de avaliação, porém sem testagem. Por outro lado, um teste pode ser aplicado para fins pedagógicos, como por exemplo para revisar um conteúdo ensinado. Os testes passam a caracterizar uma avaliação quando os seus resultados são utilizados para a tomada de decisões (BACHMAN, 1990). A geração de dados quantitativos é geralmente focalizada na testagem – como exemplo, destacam-se os célebres testes de múltipla escolha. Contudo, o termo language testing é utilizado na literatura para se referir de forma genérica à avaliação da proficiência de LEs (CLAPHAM, 2000), independentemente se há ou não a geração exclusiva de dados quantitativos, e até mesmo quando os instrumentos são intitulados exames. Isso posto, faz-se necessário a elucidação acerca dos conceitos de exame e teste. Embora não haja um consenso no tocante à distinção desses termos, como bem aponta Bachman (1990), exame é por vezes utilizado em referência a um instrumento de avaliação cuja aplicação compreende um período superior a duas horas. Um teste, em contrapartida, teria duração mais curta – de meia hora a uma hora (BACHMAN, 1990). Visando proporcionar um maior esclarecimento acerca dos termos teste e exame, tomemos como exemplos os instrumentos de avaliação da proficiência da LI oferecidos pelo departamento Cambridge English Language Assessment, da Universidade de Cambridge. Os instrumentos A2 Key, B1 Preliminary, B2 First, C1 Advanced e C2 Proficiency, destinados à avaliação da proficiência geral da LI, são referidos pela instituição como exames. Estes exames são aplicados em duas etapas: a etapa escrita, a qual tem duração média de três horas e meia e divide-se em três partes (compreensão de textos e conhecimentos gramaticais e de vocabulário, produção escrita e compreensão oral), cujos números de subdivisões são variáveis conforme o nível do exame; e a etapa oral, a qual tem duração aproximada de quatorze minutos e é chamada de teste pela instituição. Também é considerado como um teste o TKT (Teaching Knowledge Test) – um instrumento direcionado a avaliar os conhecimentos linguísticos e pedagógicos do professor de LI –, o qual tem duração de oitenta minutos e é composto por oitenta questões de múltipla escolha. Porém, apesar de ter duração aproximada de duas horas e quarenta e cinco minutos e de ser composto por tarefas que não 35 são exclusivamente de múltipla escolha, o IELTS (International English Language Testing System), é considerado pela instituição como um teste4. No que diz respeito ao EPPLE (Exame de Proficiência para Professores de Língua Estrangeira), instrumento avaliativo focalizado nesta investigação, Consolo e Teixeira da Silva (2014) esclarecem que este caracteriza-se como um exame – conforme o próprio nome já indica –, composto por dois testes, “um de leitura e produção escrita, e um de compreensão e produção oral” (CONSOLO; TEIXEIRA DA SILVA, 2014, p. 75). Após esta apresentação dos termos pertinentes aos estudos da avaliação de LEs, passemos, a seguir, à seção 2.2, na qual apresentam-se as especificações do EPPLE, assim como um complemento à terminologia relevante à avaliação de LEs, especificamente no que concerne a elaboração das escalas de pontuação utilizadas para aferir a proficiência linguística. 2.2 O EPPLE (Exame de Proficiência para Professores de Língua Estrangeira) O EPPLE (Exame de Proficiência para Professores de Língua Estrangeira) tem como objetivo avaliar a proficiência de uso geral da LI por parte do (futuro) professor, assim como a sua competência linguístico-comunicativo-pedagógica nas quatro habilidades linguísticas (compreensão oral, compreensão escrita, produção oral e produção escrita). Para aferir esta última competência, o EPPLE se vale de simulações de situações de interação entre professor e aluno (CONSOLO; TEIXEIRA DA SILVA, 2014). Trabalhos visando o aprimoramento do EPPLE são constantemente desenvolvidos pelos membros do grupo de pesquisa ENAPLE-CCC. Com a implementação do EPPLE no Brasil, almeja-se gerar um impacto positivo na formação de futuros professores de LI e, por conseguinte, reverter os efeitos do círculo vicioso de baixa proficiência no sistema educacional brasileiro (CONSOLO, 2017), descrito na seção introdutória deste trabalho. Além disso, espera- se que o referido exame seja útil para pautar os critérios de contratação de professores de LI no contexto brasileiro (CONSOLO; TEIXEIRA DA SILVA, 2014). No tocante a este objetivo, Consolo e Teixeira da Silva (2014) esclarecem que não se trata de criar um empecilho para a atuação dos professores de LI no Brasil, mas sim de fomentar um padrão de referência para a atuação desses profissionais. 4 Maiores informações sobre os exames oferecidos pelo Cambridge English Language Assessment podem ser encontradas no endereço eletrônico https://www.cambridgeenglish.org/exams-and-tests/. 36 O EPPLE é composto por dois testes: um teste de leitura e produção escrita, e um teste de compreensão e produção oral (CONSOLO; TEIXEIRA DA SILVA, 2014). Este teste, focalizado neste trabalho, tem duração aproximada de trinta minutos e é aplicado em dois formatos: entrevistas face a face com um examinador ou em meio eletrônico. No quadro 2, a seguir, encontra-se uma síntese das especificações do teste oral do EPPLE. Quadro 2: Especificações do teste oral do EPPLE Fonte: Teixeira da Silva (2017, p. 29). O quadro 2, elaborado por Teixeira da Silva (2017), condensa as informações relevantes sobre o teste oral do EPPLE aplicado no formato digital. O teste tem duração aproximada de trinta minutos e é composto por cinco tarefas. Na primeira tarefa, cujo objetivo é contribuir para a ambientação do candidato ao teste, o (futuro) professor responde a perguntas de cunho pessoal, como a sua experiência como aprendiz e usuário do idioma, suas experiências acadêmicas e seus planos profissionais. A segunda tarefa consiste na produção oral com base em um insumo visual. Nesse momento, o candidato descreve situações ilustradas em duas gravuras – como por exemplo, situações típicas de sala de aula – e as relaciona às suas experiências como aprendiz e como professor. A terceira tarefa é baseada em um insumo audiovisual e divide-se em duas partes: compreensão oral e produção oral. Nesta etapa, o candidato responde a quatro questões de múltipla escolha sobre um vídeo de curta duração – geralmente sobre a pronúncia da LI – e, em seguida, emite a sua opinião sobre o assunto. Na 37 quarta tarefa, é solicitado que o candidato forneça instruções, a uma sala de aula fictícia, sobre como realizar uma determinada atividade. Na quinta e última tarefa, por sua vez, o candidato deve esclarecer uma dúvida gramatical de um aluno hipotético, fazendo uso da metalinguagem. Os candidatos têm o seu desempenho gravado, tanto na aplicação do exame em formato eletrônico quanto na aplicação face a face por um examinador. Dessa maneira, a avaliação dos desempenhos orais é feita posteriormente por dois avaliadores e, em caso de discordância em relação ao resultado final, solicita-se o parecer de um terceiro avaliador (COLOMBO, 2019). Os níveis de classificação dos desempenhos, presentes no quadro 2, se referem às faixas de proficiência da escala holística. Essa escala é dividida em cinco faixas (A, B, C, D e E). A título de referência, é apresentada uma correlação entre essas faixas de proficiência e os níveis de competência linguística presentes no Common European Framework of Reference for Languages (doravante CEFR), ou Quadro Comum Europeu de Referência para Línguas. Maiores informações sobre o CEFR são apresentadas em maiores detalhes na seção 4.6 desta dissertação. Como é possível observar no quadro 2, a faixa A equivale aos níveis C1 e C2, enquanto a faixa B equivale ao nível B2 do referido quadro. Desse modo, os candidatos classificados nessas faixas possuem competência linguístico-comunicativo-pedagógica considerada satisfatória para exercerem a função de professores de LI. As faixas C e D correspondem, respectivamente, aos níveis B1 e A1-A2 do CEFR. Os desempenhos classificados nessas duas faixas representam uma competência linguístico-comunicativo- pedagógica elementar e básica, respectivamente. Em outras palavras, os candidatos cujos desempenhos correspondem às faixas C e D não possuem competência linguístico- comunicativo-pedagógica suficiente para exercerem satisfatoriamente a função de professor de LI. A faixa E, por sua vez, não é associada a nenhuma faixa do CEFR, uma vez que o candidato a ela alocado não é considerado apto para atuar como professor de LI (FERNANDES, 2017). No quadro 3, a seguir, encontra-se a escala de proficiência holística utilizada pelos examinadores do EPPLE para a avaliação da proficiência oral dos candidatos. 38 Quadro 3: A escala de proficiência holística utilizada para a avaliação dos desempenhos orais no EPPLE Faixa A Faixa B Faixa C A1) Atinge plenamente os objetivos de comunicação verbal, apresentando fluência em velocidade e ritmo de fala. A2) Exibe padrões de pronúncia bastante semelhante a falantes competentes da língua estrangeira, sem influências marcantes dos padrões de sua língua materna, sem causar qualquer desconforto ou incompreensão por parte do interlocutor. A3) Fornece informações sobre experiências presentes e passadas de modo claro, e utiliza estruturas linguísticas (por exemplo, formas verbais de passado) e vocabulário, incluindo expressões lexicais (“the year before”) adequados e específicos para as necessidades de produção oral. A4) Narra e descreve, de modo detalhado, uma cena de vídeo. Levanta hipóteses a respeito da cena e estabelece associações com outras experiências, sugerindo contribuições para o ensino e a aprendizagem de língua estrangeira. A5) Expressa conhecimento sobre regras de uso da língua e seleciona, desse conhecimento, as informações necessárias para esclarecer dúvidas linguísticas de alunos. É capaz de explicar regras linguísticas de modo claro, fazendo uso de terminologia específica, por exemplo, sobre classes de palavras e estruturas gramaticais. As explicações seriam plenamente compreendidas por alunos de língua estrangeira. A6) Não apresenta dificuldades de compreensão da fala na língua estrangeira em ritmo normal. B1) Atinge plenamente os objetivos de comunicação verbal, apresentando fluência em termos de ritmo de fala, e se comete erros gramaticais, é capaz de se autocorrigir. B2) Exibe pronúncia bastante próxima aos padrões de falantes competentes da língua estrangeira, sem influências marcantes dos padrões de sua língua materna, e sem causar incompreensão do interlocutor. B3) Fornece informações sobre experiências presentes e passadas, e utiliza estruturas linguísticas (por exemplo, formas verbais de passado) e vocabulário, incluindo expressões lexicais (“the year before”) adequados e específicos para as necessidades de produção oral. B4) Descreve uma cena de vídeo. Levanta hipóteses a respeito da cena, mas apresenta certa dificuldade em estabelecer associações com outras experiências e para sugerir contribuições para o ensino e a aprendizagem de língua estrangeira. B5) Expressa conhecimento sobre regras de uso da língua, mas apresenta dificuldade em explicá-las de modo claro, ou em selecionar as informações relevantes para esclarecer dúvidas linguísticas de alunos, fazendo uso limitado de terminologia específica de metalinguagem. Suas explicações não seriam plenamente compreendidas por alunos de língua estrangeira. B6) Não apresenta dificuldades de compreensão da fala na língua estrangeira em ritmo normal. C1) Atinge os objetivos de comunicação verbal, podendo apresentar limitações na fluência, em termos de ritmo e de velocidade de fala, e no uso de estruturas linguísticas. C2) Exibe pronúncia compreensível, porém com alguns desvios com relação aos padrões de falantes competentes da língua estrangeira. C3) Fornece informações sobre experiências presentes e passadas utilizando estruturas linguísticas simples e pouca variedade lexical. C4) Descreve uma cena de vídeo, mas apresenta dificuldade em levantar hipóteses a respeito da cena ou em estabelecer associações com outras experiências, e para sugerir contribuições para o ensino e a aprendizagem de língua estrangeira. C5) Expressa conhecimento parcial sobre regras de uso da língua, mas não consegue explicá-las de modo claro. Tem dificuldade em selecionar informações para esclarecer dúvidas linguísticas de alunos, e sua fala seria compreendida apenas parcialmente por alunos de língua estrangeira. C6) Pode apresentar dificuldades de compreensão da fala em língua estrangeira, mas não a ponto de prejudicarem seu desempenho verbal. 39 Faixa D Faixa E Fonte: Consolo e Teixeira da Silva (2014, p. 84-87). Como é possível observar nas faixas de proficiência apresentadas no quadro 3, a escala de proficiência holística é dividida em cinco faixas, as quais subdividem-se em seis descritores (CONSOLO; TEIXEIRA DA SILVA, 2014). As competências do professor de LI que compõem os descritores para a avaliação dos desempenhos orais no teste oral do EPPLE encontram-se nas referidas faixas em formato de progressão. A utilização de escalas holísticas, também denominadas escalas globais (BACHMAN; PALMER, 1996), consiste na atribuição de uma nota ou de um conceito de proficiência por um ou mais avaliadores, com base nas impressões gerais do desempenho do candidato. Suas faixas possuem definições abrangentes, porém focalizadas em aspectos salientes do desempenho oral (HILL; STORCH, 1994; OLIVEIRA, 2021a). Segundo Bachman e Palmer (1996), é comum E1) Não atinge satisfatoriamente os objetivos de comunicação verbal, apresentando falta de fluência e de competência na produção oral. E2) Exibe pronúncia nitidamente distinta, em aspectos de sons e padrões de entoação, de falantes da língua estrangeira, com interferências marcantes de sua língua materna, que podem causar incompreensão e desconforto ao interlocutor. E3) Fornece informações sobre experiências presentes e passadas utilizando estruturas linguísticas simples e pouca variedade lexical, e comete erros estruturais, com prejuízo para sua expressão oral. E4) Apresenta dificuldade em descrever uma cena de vídeo e em levantar hipóteses a respeito da cena, bem como em estabelecer associações com outras experiências e para sugerir contribuições para o ensino e a aprendizagem de língua estrangeira. E5) Expressa pouco ou nenhum conhecimento sobre regras de uso da língua, e não consegue explicar regras da língua de modo a esclarecer dúvidas linguísticas de alunos de língua estrangeira. E6) Apresenta dificuldades de compreensão da fala em língua estrangeira em ritmo normal, as quais prejudicam seu desempenho verbal. D1) Atinge os objetivos de comunicação verbal com limitações. Exibe falta de fluência e de competência no uso de estruturas linguísticas. D2) Exibe pronúncia compreensível, mas distinta, em alguns aspectos de sons e padrões de entoação, de falantes da língua estrangeira, podendo haver alguma interferência na compreensão e causar certo desconforto ao interlocutor. D3) Fornece informações sobre experiências presentes e passadas utilizando estruturas linguísticas simples, e pouca variedade lexical. D4) Descreve uma cena de vídeo, mas apresenta dificuldade em levantar hipóteses a respeito da cena e em estabelecer associações com outras experiências, e também para sugerir contribuições ao ensino e à aprendizagem de língua estrangeira. D5) Expressa conhecimento limitado sobre regras de uso da língua e não consegue selecionar quais informações são relevantes para esclarecer dúvidas linguísticas de alunos, ou não consegue explicar as regras da língua de modo claro. Sua fala seria de difícil compreensão por alunos de língua estrangeira. D6) Apresenta dificuldades de compreensão da fala na língua estrangeira em ritmo normal, as quais podem, ocasionalmente, prejudicar o desenvolvimento de seu desempenho verbal. 40 que diferentes examinadores (ou até um mesmo examinador em ocasiões diferentes), atribuam conceitos distintos em uma mesma situação ao utilizarem esse tipo de escala. Recentemente, o teste oral do EPPLE também passou a dispor de uma escala de proficiência analítica, desenvolvida empiricamente por Oliveira (2021a). A justificativa para a criação desta escala, segundo o pesquisador, se baseia no fato de que os critérios presentes na escala holística não são empiricamente embasados. Além disso, a utilização de ambas as escalas promoveria maior confiabilidade aos resultados do exame (OLIVEIRA, 2021a). Maiores informações acerca da investigação de Oliveira (2021a) encontram-se na subseção 2.2.1. Nas escalas analíticas, os aspectos a serem avaliados são decompostos em vários elementos para que sejam avaliados separadamente. Em outros termos, os diferentes componentes de habilidades linguísticas presentes na definição do construto são avaliados de forma independente (HILL; STORCH, 1994; BACHMAN; PALMER, 1996). A nota final é calculada a partir da soma das notas de cada um dos componentes e, em alguns casos, lhes podem ser atribuídos conceitos distintos. Dependendo do exame, o conceito final pode ser calculado a partir da combinação de ambas as escalas holística e analítica (HILL; STORCH, 1994). Os benefícios de se utilizar as escalas analíticas são: elas fornecem “uma descrição precisa do comportamento linguístico” (OLIVEIRA, 2021a, p. 29), “[...] auxiliam o avaliador a concentrar o seu foco em critérios balanceados, [...] o que nem sempre acontece com as escalas holísticas” e “garantem que todos os avaliadores estão considerando os mesmos critérios” (NORTH, 2003, p. 71 apud OLIVEIRA, 2021a, p. 66). Ainda, as escalas analíticas permitem a focalização de aspectos específicos de habilidades linguísticas (BACHMAN; PALMER, 1996), pois exigem que os examinadores sejam mais explícitos em relação aos fundamentos que subjazem o seu julgamento (HILL; STORCH, 1994). Na figura 3, a seguir, é disponibilizada a escala de proficiência analítica desenvolvida por Oliveira (2021a) para a avaliação dos desempenhos orais no EPPLE. 41 Figura 3: A escala de proficiência analítica utilizada na avaliação dos desempenhos orais no EPPLE Fonte: Oliveira (2021a, p. 115). 42 Como é possível observar na figura 3, a escala de proficiência analítica elaborada por Oliveira (2021a) permite que o avaliador avalie separadamente os seguintes aspectos: “pronúncia”, “fluência”, “precisão gramatical”, “precisão do vocabulário” e “metalinguagem e conhecimento específico”. No tocante às faixas utilizadas para a avaliação do aspecto “pronúncia”, observa-se que Oliveira (2021a) considera o emprego adequado da tonicidade nas palavras como um critério delimitador entre os desempenhos satisfatórios e insatisfatórios. Outrossim, a entoação para destacar elementos importantes do enunciado é tomada como um critério delimitador entre os desempenhos satisfatórios e insatisfatórios, assim como entre os desempenhos considerados como satisfatório superior e satisfatório inferior (faixas 4 e 3, respectivamente). Para o pesquisador, ambos os aspectos da fala caracterizam um maior controle fonológico. A variação na produção de vogais e consoantes é um critério presente apenas nos descritores referentes aos desempenhos insatisfatórios, sendo que na faixa 1 este aspecto é descrito como mais frequente. Visando proporcionar maior entendimento e clareza acerca das especificações das escalas de proficiência apresentadas nesta seção, são disponibilizadas a seguir, no quadro 4, as definições dos termos que as constituem. Quadro 4: Glossário dos termos utilizados na caracterização das escalas de proficiência do teste oral do EPPLE Termo Definição Aspecto 1.“Elementos da competência linguística e do conhecimento específico do professor de LE, como a pronúncia, a fluência, a precisão gramatical e a precisão do vocabulário” (OLIVEIRA, 2021a, p. 20), avaliados separadamente na escala analítica do teste oral do EPPLE. 2. Elemento que compõe os descritores de uma escala de proficiência (COLOMBO; 2019); critério (OLIVEIRAa, 2021). Descritor Descrição qualitativa de desempenhos característicos de cada nível (faixa) de proficiência linguística (SCARAMUCCI, 2000; McNAMARA, 2000; COLOMBO, 2019). Faixas Os níveis nas escalas de proficiência que contêm os descritores das competências linguísticas (McNAMARA, 2000). Escala Um conjunto ordenado de faixas de proficiência (McNAMARA, 2000). Fonte: A autora. Como podemos observar no quadro 4, o termo “aspecto” é utilizado para caracterizar duas dimensões distintas. A título de exemplificação, tomemos a escala analítica utilizada para a avaliação dos desempenhos orais no EPPLE. A primeira definição se refere à pronúncia, à 43 fluência, à precisão gramatical e à precisão do vocabulário nessa escala, isto é, aos componentes da competência linguística e do conhecimento linguístico específico do professor de LE, os quais são avaliados separadamente (OLIVEIRA, 2021a). Com relação à segunda definição, o termo “aspecto” designa, por exemplo, o emprego da tonicidade nas palavras, a produção de vogais e consoantes e a entoação para destacar elementos importantes em um enunciado, presentes nos descritores das faixas utilizadas para a avaliação do “aspecto” pronúncia. Em outras palavras, essa definição equivale aos critérios utilizados para a definição operacional do aspecto “pronúncia” no teste do oral do EPPLE (OLIVEIRA, 2021a). Os descritores, portanto, são os qualitativos dos desempenhos característicos das faixas (ou níveis) de proficiência (SCARAMUCCI, 2000; McNAMARA, 2000; COLOMBO, 2019), cujo ordenamento, geralmente em formato de progressão (SCARAMUCCI, 2000), constitui uma escala de proficiência (McNAMARA, 2000). 2.2.1 O trabalho de Oliveira (2021a) Nesta subseção, apresentam-se os pormenores acerca da investigação de Oliveira (2021a), a qual resultou na elaboração da escala de proficiência analítica para o teste oral do EPPLE, apresentada na seção 2.2 desta dissertação. O trabalho de Oliveira (2021a) teve como objetivos o desenvolvimento de uma escala de proficiência analítica destinada à avaliação dos desempenhos orais no EPPLE, uma vez que o exame contava até aquele momento somente com uma escala holística (vide seção 2.2 desta dissertação para informações sobre essa escala holística), e, consequentemente, a proposição de critérios característicos da proficiência oral do professor de LI em cada nível de proficiência da escala desenvolvida. A fim de atingir os objetivos propostos na sua investigação, Oliveira (2021a) fez uso do método EBBs, aplicando-o a um conjunto de amostras de desempenho do teste oral do EPPLE, referentes a aplicações do exame em 2015 e em 2017. O acrônimo EBBs significa Empirically derived, Binary choice, Boundary definition scales, cuja tradução literal seria “Escalas de definição de limites, de escolhas binárias e empiricamente derivadas”. Trata-se de um procedimento empírico proposto por Upshur e Turner (1995), no qual as faixas de proficiência são elaboradas por especialistas em avaliação a partir da análise de desempenhos orais de tarefas reais (UPSHUR; TURNER, 1995). Especificamente, os desempenhos orais são categorizados em “satisfatórios” e “insatisfatórios” 44 a partir da resposta a uma pergunta binária – “sim/não” – inicialmente proposta. Em seguida, são formuladas outras perguntas binárias sobre os aspectos salientes que caracterizam os desempenhos conforme essa categorização. A quantidade de perguntas é definida a partir do número de faixas que se almeja elaborar. Essas perguntas são dispostas no formato de Árvores de Decisão de Desempenho, a partir das quais são estabelecidos os aspectos que justificam os critérios delimitadores de cada faixa de proficiência (OLIVEIRA, 2021a). Tendo em vista que a escala de proficiência produzida por Oliveira (2021a) a partir desse método possui caráter analítico, foram produzidas em seu trabalho cinco Árvores de Decisão de Desempenho, cada uma delas referente a um aspecto da proficiência oral do professor de LI: “pronúncia”, “fluência”, “precisão gramatical”, “precisão do vocabulário” e “metalinguagem e conhecimento específico”. Na figura 4, a seguir, é apresentada a Árvore de Decisão de Desempenho que originou as faixas de proficiência do aspecto “pronúncia”. Figura 4: A Árvore de Decisão de Desempenho do aspecto “pronúncia”, elaborada por Oliveira (2021a) Fonte: Oliveira (2021a, p. 98) A Árvore de Decisão de Desempenho que deu origem às faixas de proficiência do aspecto “pronúncia” do teste oral do EPPLE foi produzida por Oliveira (2021a) com base na avaliação de dezenove desempenhos orais de candidatos ao EPPLE. Como é possível observar na figura 4, essa representação alicerça-se em um questionamento central: se houve ou não o emprego adequado da tonicidade das palavras. Os desempenhos nos quais foram constatados a presença desse critério foram categorizados como “satisfatórios”, enquanto os desempenhos 45 nos quais foram constatados a sua ausência foram categorizados como “insatisfatórios”. Por conseguinte, a tonicidade das palavras é um critério que se encontra nos descritores de todas as faixas de proficiência do aspecto “pronúncia”. Em seguida, com o propósito de subdividir cada categoria, foram criadas outras duas perguntas. Uma questão em relação ao uso da entoação como dispositivo de destaque aplicou-se aos desempenhos satisfatórios. Desse modo, a presença desse critério foi positivamente associada aos desempenhos “satisfatórios superiores” (faixa 4), ao passo que a sua ausência foi associada aos desempenhos “satisfatórios inferiores” (faixa 3). O critério “variações na produção de vogais e consoantes”, por sua vez, encontra-se nos descritores dos desempenhos “insatisfatórios superiores” (faixa 2) e “insatisfatórios inferiores” (faixa 1), sendo que este tipo de variação é mais frequente nestes. Desse modo, a escala de proficiência analítica elaborada por Oliveira (2021a) é composta por quatro faixas, ou seja, possui uma faixa a menos em comparação com a escala holística. Embasado em Ginther (2015), Oliveira (2021a) nos diz que a atribuição de uma faixa central aos desempenhos considerados como “medianos” é uma prática habitual entre os examinadores, quando em dúvida sobre a classificação desse tipo de desempenho. A divisão da escala analítica em quatro faixas, por conseguinte, evitaria esse tipo de classificação, uma vez que os desempenhos passariam a ser classificados como satisfatórios (faixas 4 e 3) ou insatisfatórios (faixas 2 e 1)5. Vale ainda destacar uma particularidade do método EBBs: a avaliação de amostras de desempenho oral deve ser baseada em apenas uma tarefa do exame para o qual se pretende elaborar a escala de proficiência. Logo, Oliveira (2021a) conduziu a sua investigação com base somente na tarefa 5 do teste oral do EPPLE, a qual consiste no esclarecimento de uma dúvida gramatical de um aluno hipotético. Sendo assim, o desempenho do candidato nessa tarefa é elucidativo da sua competência de uso da língua no discurso específico de sala de aula, sobre a qual discorremos na seção 2.3 desta dissertação. Para aferir a confiabilidade da escala de proficiência elaborada como produto da sua investigação, Oliveira (2021a) solicitou pareceres de outros especialistas em avaliação de LEs. Isto posto, as amostras de desempenho oral utilizadas em seu trabalho foram avaliadas por três avaliadores. As fórmulas de regra de três simples e de média aritmética simples foram utilizadas para calcular, respectivamente, as porcentagens de concordância entre os examinadores em 5 É relevante salientar que a classificação dos desempenhos em “satisfatórios” (faixas 4 e 3) e “insatisfatórios” (faixas 2 e 1) corresponde a uma sugestão dos elaboradores do EPPLE e, nesse sentido, não se faz necessário que os usuários dos resultados do exame a sigam rigorosamente. 46 relação à avaliação de cada uma das amostras, e a média de concordância de todas as classificações realizadas no âmbito de cada aspecto que compõe a escala de proficiência analítica. Segundo os resultados desses cálculos, as faixas de proficiência do aspecto “pronúncia” foram as que apresentaram a maior média de concordância – aproximadamente 80%. Ao concluir o seu trabalho, Oliveira (2021a) reflete que os critérios que compõem as faixas de proficiência analíticas por ele elaboradas carecem de validação e, por isso, sugere que “outros especialistas em avaliação discutam os critérios elencados, observando a sua relevância para a delimitação das faixas de proficiência [...]” (OLIVEIRA, 2021a, p. 119). Diante disso, esta investigação consiste em uma ampliação do trabalho do referido pesquisador no âmbito do aspecto “pronúncia”. Foram apresentadas, nesta subseção e nas seções antecedentes, informações sobre o objeto desta investigação, o EPPLE. Na seção 2.3, a seguir, são apresentadas as particularidades da proficiência oral do professor de LE com o intuito de contextualizar as tarefas presentes no teste oral do EPPLE. 2.3 A proficiência oral do professor de língua estrangeira como manifestação das suas competências linguístico-comunicativas Nesta seção, apresentam-se os subsídios que justificam as tarefas presentes no teste oral do EPPLE para a avaliação da competência linguístico-comunicativa do professor de LE. Antes de adentrarmos nas especificações da competência linguístico-comunicativa do professor de LE, faz-se necessário discorrer brevemente sobre as definições de três termos relevantes para a área da avaliação de LEs: competência, desempenho e proficiência. Segundo Teixeira da Silva (2004), o conceito tradicional de competência nos estudos linguísticos é atribuído a Chomsky (1965). O estudioso propõe uma definição para este termo ao inseri-lo numa dicotomia, na qual ele o distingue do termo desempenho. A competência é definida como o conhecimento que um indivíduo tem das regras de uma língua, enquanto o desempenho designa o uso concreto da língua em situações reais (TEIXEIRA DA SILVA, 2004). Nos estudos sobre ensino/aprendizagem e avaliação de LEs, todavia, o termo competência é utilizado sob diferentes vieses. Alguns autores (como por exemplo CANALE; SWAIN, 1980; BACHMAN, 1990) apresentam o conceito em diferentes esferas, apresentando tipos de competência relacionados aos diferentes aspectos linguísticos e discursivos envolvidos 47 nas situações comunicativas. Competência sociolinguística, competência organizacional, competência estratégica e competência gramatical são alguns dos tipos de competência descritos por esses autores. Uma revisão detalhada sobre o conceito de competência comunicativa presente no trabalho de notáveis autores, incluindo os autores supracitados, é apresentada por Teixeira da Silva (2004). Ao refletir sobre a sua revisão teórica, a autora conclui que a noção de competência comunicativa deve abarcar tanto a competência quanto o desempenho. A competência designa o “conhecimento abstrato armazenado na mente do indivíduo”, [...]