Consolo, Douglas Altamiro [UNESP]Colombo, Camila Sthéfanie2019-12-042019-12-042019-08-29http://hdl.handle.net/11449/191170Neste trabalho investiga-se a abordagem de avaliação da proficiência oral do professor de línguas estrangeiras empregado por um exame brasileiro voltado a essa finalidade específica, o EPPLE – Exame de Proficiência para Professores de Línguas Estrangeiras. O estudo tem por objetivo propor uma abordagem que atenda a necessidades levantadas pela literatura da área acerca da importância da democratização e transparência do processo avaliativo e do emprego de processos decisórios que garantam os princípios de validade sem causar interferências na praticidade das avaliações. Assim, a abordagem proposta subordina-se à elaboração de uma escala de mensuração e à reestruturação da escala de proficiência do exame, agregando-se a opinião de usuários com diferentes graus de especialidade sobre a avaliação de proficiência. Trata-se, portanto, de um estudo de caso de natureza híbrida e cunho exploratório-descritivo que se utiliza de dados secundários e primários para auxiliar a investigação. Os dados secundários consistem em estudos e documentos sobre a caracterização da proficiência linguística para finalidades gerais e para finalidades de ensino, bem como sobre a avaliação dessas proficiências; em dados de fala do teste oral do EPPLE referentes à participação de formandos em Letras de uma universidade pública paulista e de duas universidades públicas mineiras, na qualidade de candidatos ao exame, nos anos de 2015 e 2017; e nos respectivos conceitos atribuídos aos candidatos, seguindo-se os princípios determinados pela escala de proficiência oral original do exame. Os dados primários, por sua vez, consistem nas respostas obtidas por meio da aplicação sucessiva de dois questionários estruturados com base nos princípios do método de estruturação de problemas VFT – Pensamento Focado no Valor; o primeiro, com a finalidade de coletar informações a respeito do perfil dos participantes da pesquisa e de suas opiniões sobre as características da proficiência do professor de línguas e de sua avaliação e o segundo, para refinar e confirmar a opinião dos participantes, fornecendo embasamento para a elaboração da escala de mensuração. A determinação dos critérios que integram a escala de mensuração proposta, bem como de seus pesos para a avaliação, foi realizada com base nos valores informados pelos usuários do exame, nos valores determinados pela literatura e na criterialidade encontrada por meio da análise das características de fala dos candidatos. Os perfis linguísticos que representam os níveis de variação da proficiência na escala de mensuração, por sua vez, foram definidos com base nos resultados fornecidos pela análise multivariada de agrupamento, mais especificamente, pelo método de Ward, desses desempenhos. A escala de proficiência foi elaborada considerando-se os quadros de referência internacional CEFR – Quadro Europeu Comum de Referência para Línguas e CETF – Cambridge English Teaching Framework. A reavaliação dos desempenhos de fala foi realizada considerando-se a escala de mensuração proposta combinada ao método multicritério de análise da decisão Fuzzy TOPSIS – Técnica de Ordenamento de Preferências por Similaridade à Solução Ideal. A comparação do nível de proficiência sugerido pela aplicação do método em relação à escala de proficiência proposta com base nos quadros de referência mostrou-se confiável e, em relação à avaliação original, permitiu o tratamento de discrepâncias.This research study investigates the assessment model used by a teaching-oriented language examination, the EPPLE – Proficiency Examination for Foreign Language Teachers, in the assessment of foreign language teachers’ oral proficiency. We aim at evaluating the model used by the oral test and proposing a new one that meets current concerns raised by the literature regarding the importance of democratizing the assessment process, guaranteeing transparency and using decision models that assure validity principles without causing interferences in the test’s practicality. Therefore, the model we propose relies on the reorganization of the oral proficiency scale used in the exam through the inclusion of its stakeholders’ opinions. The investigation conducted consists on a quali-quantitative and exploratory-descriptive case study that uses primary and secondary data. Secondary data consist of research studies and documents on the concept of general and teaching purpose language proficiency; speaking data from candidates to the oral test of the EPPLE examination; as well as the respective rates assigned to such candidates according to the proficiency scale used in the exam. The candidates to the EPPLE examination that participate in this study are Letters course undergraduate students from Brazilian public universities, one located in the state of São Paulo and two in the state of Minas Gerais, in the years of 2015 and 2017. Primary data, on the other hand, consist of the answers obtained through the application of two questionnaires, which we structured following the principles of a problem structuring method, VFT – Value-Focused Thinking. We applied the first questionnaire aiming at collecting information on the research study participants’ profiles and opinions concerning foreign language teachers’ proficiency and its assessment. The second questionnaire supported the reorganization of the scale and was used to refine and confirm the participants’ opinions. We selected the criteria included in the rubric scale, as well as its assessment weights, through the values of the stakeholders, the values pointed out in the literature and their criteriality, determined through the analysis of candidates’ speech samples. Language profiles representing the variation of the levels of the proficiency in the rubric were defined through performance cluster analysis, more specifically through Ward’s method. The proficiency scale was created through the principles presented in the CEFR – Common European Framework of Reference for Languages and in the CETF – Cambridge English Teaching Framework. Finally, the reassessment of the performances was conducted through the combination of the rubric and the multi-criteria decision analysis method, Fuzzy TOPSIS – Technique for Order of Preference by Similarity to Ideal Solution. The comparison of the proficiency level suggested by the application of the method based on the proficiency scale resulted in mainly reliable results, allowing the management of error measurements.porAvaliaçãoProficiência oralProficiência do professor de línguasMétodos de estruturação de problemasMétodos multicritério de análise da decisãoLanguage testingOral proficiencyProblem structuring methodsMulticriteria decision-analysis methodsTeachers’ oral proficiencyTese de doutoradoAcesso aberto00092763633004153069P5