UNIVERSIDADE ESTADUAL PAULISTA “JÚLIO DE MESQUITA FILHO” Faculdade de Ciências – Campus Bauru Programa de Pós-Graduação em Psicologia do Desenvolvimento e Aprendizagem Thais de Souza Mascotti AMPLIAÇÃO DO COMPORTAMENTO DE FALANTE E OUVINTE EM CRIANÇAS COM REPERTÓRIO VERBAL MÍNIMO VIA INSTRUÇÃO POR MÚLTIPLOS EXEMPLARES BAURU 2019 Thais de Souza Mascotti AMPLIAÇÃO DO COMPORTAMENTO DE FALANTE E OUVINTE EM CRIANÇAS COM REPERTÓRIO VERBAL MÍNIMO VIA INSTRUÇÃO POR MÚLTIPLOS EXEMPLARES BAURU 2019 Dissertação apresentada como requisito à obtenção do título de Mestre à Universidade Estadual Paulista “Júlio de Mesquita Filho” – Programa de Pós-Graduação em Psicologia do Desenvolvimento e Aprendizagem, área de concentração Aprendizagem e Ensino (L1), sob orientação da Prof. Dra. Ana Claudia Moreira Almeida Verdu. Apoio financeiro: Fundação de Amparo à Pesquisa do Estado de São Paulo, nº processo 2017/14311-9. Mascotti, Thais de Souza Ampliação do comportamento de falante e ouvinte em crianças com repertório verbal mínimo via instrução por múltiplos exemplares / Thais de Souza Mascotti. – Bauru, 2019 173 p. Orientadora: Ana Cláudia Moreira Almeida Verdu Dissertação (Mestrado) - Universidade Estadual Paulista, Faculdade de Ciências, Bauru, 2019 1. Ensino. 2. Comportamento verbal. 3. Instrução por múltiplos exemplares. 4. Transtorno do espectro autista. 5. Desordem do espectro da neuropatia auditiva. I. Universidade Estadual Paulista. II. Título. AGRADECIMENTOS Agradeço, primeiramente, aos meus pais, Regina e Luis, pelo apoio, amor e preocupação com o meu bem-estar e, em especial, pelo suporte durante o primeiro ano de desenvolvimento dessa pesquisa, em que não tive bolsa. À minha irmã, Adriane, designer maravilhosa, que se dedicou a produzir todas as figuras usadas durante a coleta da pesquisa. Ao José, uma pessoa magnífica que o universo colocou na minha vida no momento mais difícil de transição da graduação, mestrado e mercado de trabalho. Sou infinitamente grata à paciência para me ouvir nos momentos mais desanimadores e pelo amor e apoio em todos os outros momentos e aspectos da minha vida. À minha querida amiga Lais, uma pessoa incrível que continuou sendo minha amiga, apesar da dificuldade em encontrar horários compatíveis para a gente se encontrar. Peço desculpas, também, a todas as outras pessoas que acabei me afastando nesse período. Às crianças que participaram dos estudos, mesmo nos dias em que estavam cansadas. Sou muito grata aos responsáveis por elas, por me receberem tão bem ou se deslocarem para participar do projeto e por apoiarem a pesquisa. Ao coordenador do CEAPA/APAE, Wesley, com quem tive contato e a Dr. Leandra do HRAC/USP que, apesar de dificuldades estruturais, foram pessoas fundamentais para seleção dos meus participantes. À FAPESP pela bolsa concedida, sem ela eu não teria continuado pesquisando. Agradeço também a mim mesma, por ter tido força o suficiente para continuar viva. Infelizmente, a pós-graduação carece (e muito) de discussão e ação para prevenção em saúde mental dos próprios discentes. À minha orientadora, Ana, por ter aceitado continuar comigo por esse período, pelas trocas de conhecimento e aprendizado. Às bancas de qualificação, Camila Gomes e Adriane Moret, e de defesa, Edson Huziwara e Nassim Elias, por aceitarem tão prontamente o convite de participação e pelas contribuições e apontamentos. Por fim, mas não menos importante, deixo meus cumprimentos aos colegas de laboratório (LADS), pelos momentos de ajuda, trocas e descontração. Este trabalho é apoiado pela Fundação de Amparo à Pesquisa do Estado de São Paulo (FAPESP) mediante concessão de bolsa de Mestrado, processo nº 2017/14311-9. Este trabalho foi realizado sob o escopo do Instituto Nacional de Ciência e Tecnologia sobre Comportamento Cognição e Ensino (INCT-ECCE, 2014). Processos FAPESP 2014/50909-8; CNPQ 465686/2014-1; CAPES 88887136407/2017-00, com vigência de 01/01/2017 a 31/01/2023. Este trabalho é apoiado pela Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES) fonte de Recurso 001. MASCOTTI, Thais de Souza. Ampliação do comportamento de falante e ouvinte em crianças com repertório verbal mínimo via instrução por múltiplos exemplares. 2019. 168f. Dissertação (Mestrado em Psicologia do Desenvolvimento e Aprendizagem) – Universidade Estadual Paulista, Faculdade de Ciências, Bauru, 2019. RESUMO Considerando a necessidade de delinear e sistematizar condições de ensino de comportamento verbal a pessoas com repertório verbal mínimo e o uso crescente do Multiple Exemplar Instruction (MEI), estratégia que coloca diferentes topografias de operantes verbais e seus controles de estímulos em rotatividade, com potencial para integrar operantes verbais, o presente trabalho realizou três estudos. O Estudo 01 apresenta uma revisão de literatura com os descritores "multiple exemplar instruction" OR “multiple exemplar training", no Web of Science, Scopus e Pubmed, sem restrição de ano. Visou sistematizar o uso dos termos Multiple Exemplar Instruction (MEI) e Multiple Exemplar Training (MET), identificar e descrever sob quais arranjos de procedimento o MEI tem sido usado e seus resultados. Foram selecionadas 65 publicações e MET foi o termo mais frequentemente usado; em relação ao MEI, a população mais frequentemente envolvida nos estudos foram crianças com Transtorno do Espectro Autista (TEA), no entanto outros diagnósticos demonstraram menor exigência de exposição ao MEI. Discute-se a aproximação entre os termos MEI e MET na literatura e elementos de distinção. O Estudo 02 apresenta um estudo de caso que explorou os efeitos do MEI sobre a integração entre operantes de ouvir e falar e sobre variabilidade no desempenho de uma criança com Desordem do Espectro da Neuropatia Auditiva (DENA). O participante tinha sete anos de idade, usuário de implante coclear (IC) unilateral há um ano e quatro meses. Os resultados demonstraram que as maiores porcentagens de acertos nas sondagens foram para os conjuntos que receberam o ensino por MEI, mas que o treino com esse procedimento não garantiu a generalização para outros conjuntos de estímulos somente a partir do treino de ouvinte após o MEI. Observou-se uma redução da variabilidade (aproximação entre as porcentagens de acertos) entre os operantes de ouvir, tatear e ecoar, nos conjuntos, se comparar pré e pós testes. Por fim, o Estudo 03 apresenta uma replicação do delineamento do estudo 02, verificando se os resultados de interdependência funcional entre operantes verbais e redução da variabilidade comportamental seriam alcançados em participantes com TEA. Participaram três crianças, com oito, seis e cinco anos de idade. Os resultados demonstraram que o treino somente de ouvinte não garantiu a emergência dos repertórios de falante (ecoico e tato), sendo necessária a exposição ao MEI. No MEI, observou-se aumento das porcentagens de acertos em tato e ecoico. No entanto, apenas uma exposição ao MEI não proporcionou a emergência de repertórios não ensinados diretamente após treino somente de ouvinte. Nos pós-testes e follow-up a variabilidade entre os operantes, ou seja, diferentes porcentagens de acertos para ouvinte, tato e ecoico, persistiu. Futuros estudos podem realizar a intervenção com mais treinos de MEI e averiguar quantas exposições a esse procedimento são necessárias para emergência do repertório de falante após o treino somente de ouvinte em participantes com TEA. Discute-se o papel do ecoico como facilitador ou não da emergência do tato quando se adota o MEI. Palavras-chave: desordem do espectro da neuropatia auditiva, transtorno do espectro autista, instrução por múltiplos exemplares, comportamento verbal, ensino. MASCOTTI, Thais de Souza. Increase of speaking and listening behavior in children with minimal verbal repertoire via multiple exemplar instruction. 2019. 168f. Dissertation (Master in Developmental and Learning Psychology) – Universidade Estadual Paulista, Faculty of Sciences, Bauru, 2019. ABSTRACT Considering the need to delineate and to systematize verbal behavior teaching, the Multiple Exemplar Instruction (MEI) has been frequently applied as a teaching strategy for people with minimal verbal repertoire. The MEI consist in rotation on stimulus controls and different topographies responses, and it has the potential to integrate verbal operants. The present thesis conducted three studies. Study 01 presents a literature review with the descriptors "multiple exemplar instruction" OR "multiple exemplar training" in the Web of Science, Scopus, and Pubmed, without year restriction. The objective was to systematize the use of the terms Multiple Exemplar Instruction (MEI) and Multiple Exemplar Training (MET), and also to identify and to describe the MEI arrangements and their results. 65 publications were selected. The most used term was MET. The most frequent population in the studies with MEI were children with Autism Spectrum Disorder (ASD). Children with other diagnoses needed few exposures to MEI. The approximations and distinctions between the terms MEI and MET in the literature were discussed. Study 02 presents a case study that evaluated the effects of MEI on the integration between listening and speaking operants and on performance variability in a child with Spectrum Disorder of Auditory Neuropathy (SDAN). The participant was seven years old, and he received unilateral cochlear implant (CI) at one year and four months ago. In the tests, the participant showed the highest percentages of correct responses to the trained words sets by MEI. However, this teaching did not guarantee the generalization to other stimulus sets, after listener training (only). The variability (approximation between the percentages of correct answers) between the listening, tacting and echoing operants, in the sets, was reduced, if compared pre and posttests. Finally, Study 03 presents a replication of Study 02, and it verified if participants with ASD would be achieved the same results of functional verbal interdependence and reduction of behavioral variability. Participated three children with eight, six and five years old. The results showed that listening training did not guarantee the emergence of speaker repertoires (echoic and tact), and was necessary the exposure to the MEI. In the MEI, there was an increase in the percentages of correct responses in tacting and echoing. A single exposure to MEI with a stimuli set did not produce the emergence of repertoires not taught directly to other sets, after listener training only. In the posttests and follow-up tests, the variability in percentages correct responses between listening, tact and echoic was maintained. Future studies may propose interventions with more MEI training for participants with ASD, and verify how many exposures necessary for the emergence of the speaker repertoire after of the listener training only. The role of the echoic operant in MEI as a facilitator for the emergence of tact was discussed. Keywords: auditory neuropathy spectrum disorder, autistic spectrum disorder, multiple exemplar instruction, verbal behavior, teaching. LISTA DE FIGURAS Estudo 01 Figura 01 – Etapas de análise dos artigos selecionados. Figura 02 – Fluxograma de seleção de revisão segundo PRISMA. Figura 03 – Frequência acumulada dos artigos que usam os termos Multiple Exemplar Training (MET) ou Multiple Exemplar Instruction (MEI) de acordo com o ano de publicação. Figura 04 – Análise dos estudos que utilizaram o MEI. Figura 05 – Porcentagem de participantes de acordo com a faixa etária (esquerda) e informação diagnóstica (direita). Figura 06 – Porcentagem de participantes de acordo com o diagnóstico e o número de conjuntos de estímulos expostos ao MEI até atingir o critério de aprendizagem proposto. Estudo 02 Figura 01 – Porcentagens de acertos em tarefas de ouvinte (baseado em seleção) e falante (ecoico e tato) para os conjuntos de estímulos 1 (C1), 2 (C2) e 3 (C3) durante as sondagens (pré-testes, sondagens após ensino, pós-testes e follow-up) e durante o ensino (treinos de ouvinte e MEI). As linhas tracejadas representam os momentos de mudança de sondagem para ensino e vice-versa. Quadrados pretos referem-se ao repertório de ouvinte, círculos cinza-claros ao ecoico e triângulos cinza escuro referem-se ao repertório de tato. A seta indica a inserção do prompt textual. Figura 02 – Porcentagem de acertos, erros simples, erros complexos e ausência de respostas do participante ao longo das sondagens em tato em cada conjunto de estímulo. Linhas tracejadas indicam momentos de ensino para o referido conjunto de estímulos. Estudo 03 Figura 01 – Porcentagens de acertos dos participantes em tarefas de ouvinte e falante (ecoico e tato) para os conjuntos de estímulos 1 (C1), 2 (C2) e 3 (C3) durante as sondagens e ensino. As linhas tracejadas representam os momentos de mudança de sondagem para ensino e vice- versa. Quadrados pretos referem-se ao repertório de ouvinte, círculos cinza-claros ao ecoico e triângulos cinza escuro ao tato. Figura 02 – Porcentagem de acertos, erros simples (omissão, troca, distorção, acréscimo e inversão), erros complexos (palavras sem sentido e outras palavras) e ausência de respostas nas sondagens em tato em cada conjunto de estímulo. Linhas tracejadas indicam momentos de ensino com o referido conjunto de estímulos. LISTA DE TABELAS Estudo 01 Tabela 01 – Presença, na introdução dos artigos, de uma definição de MET e MEI e de citação de referências de estudos que utilizaram os referidos procedimentos. Estudo 02 Tabela 01 – Análise PND. Estudo 03 Tabela 01 – Caracterização dos participantes. LISTA DE QUADROS Estudo 01 Quadro 01 – Resumo das definições de MET apresentadas nas introduções dos estudos selecionados Quadro 02 – Resumo das definições de MEI apresentadas nas introduções dos estudos selecionados Estudo 02 Quadro 01 – Estímulos discriminativos utilizados para cada conjunto. Quadro 02 – Etapas de ensino e sondagem. Quadro 03 – Exemplos de tentativas em tato, ouvinte e ecoico. Quadro 04 – Estrutura de uma sessão linear e de uma sessão randomizada por MEI. Estudo 03 Quadro 01 – Estímulos discriminativos utilizados por cada participante para cada conjunto. Quadro 02 – Etapas de ensino e sondagem. LISTA DE ABREVIATURAS AvMTS – Matching auditivo-visual DENA – Desordem do Espectro da Neuropatia Auditiva IC – Implante Coclear IdMTS – Matching-to-sample de identidade MEI – Multiple Exemplar Instruction MET – Multiple Exemplar Training TEA – Transtorno do Espectro Autista PND – Percentage of Nonoverlapping Data LISTA DE APÊNDICES APÊNDICE A – Análise PND (Percentage of Nonoverlapping Data). APÊNDICE B – Programa de ensino em comportamento verbal LISTA DE ANEXOS ANEXO A – Termo de Consentimento Livre e Esclarecido ANEXO B – Parecer do Comitê de ética em pesquisa ANEXO C – Carta de aquiescência da APAE SUMÁRIO 1 INTRODUÇÃO ..................................................................................................................... 21 ESTUDO 01 ............................................................................................................................. 27 REVISÃO DE LITERATURA DO USO DOS TERMOS TREINO POR MÚLTIPLOS EXEMPLARES E INSTRUÇÃO POR MÚLTIPLOS EXEMPLARES .......................... 27 1 INTRODUÇÃO ................................................................................................................. 29 2 OBJETIVOS ...................................................................................................................... 35 3 MÉTODO .......................................................................................................................... 36 4 RESULTADOS ................................................................................................................. 39 5 DISCUSSÃO ..................................................................................................................... 49 REFERÊNCIAS ................................................................................................................... 53 ESTUDO 02 ............................................................................................................................. 61 REDUÇÃO DE VARIABILIDADE DA PRECISÃO DA FALA EM UMA CRIANÇA COM DESORDEM DO ESPECTRO DA NEUROPATIA AUDITIVA E IMPLANTE COCLEAR .............................................................................................................................. 61 1 INTRODUÇÃO ................................................................................................................. 63 2 OBJETIVOS ...................................................................................................................... 72 3 MÉTODO .......................................................................................................................... 73 3.1 Participante ................................................................................................................ 73 3.2 Aspectos éticos ............................................................................................................ 74 3.3 Local e condições ....................................................................................................... 75 3.4 Materiais e estímulos .................................................................................................. 75 3.5 Procedimento .............................................................................................................. 78 3.6 Procedimento de análise dos dados ........................................................................... 85 4 RESULTADOS ................................................................................................................. 88 5 DISCUSSÃO ..................................................................................................................... 94 REFERÊNCIAS ................................................................................................................. 100 ESTUDO 03 ........................................................................................................................... 105 MEI COMO UMA DAS CONDIÇÕES PARA NTERDEPENDÊNCIA FUNCIONAL ENTRE OS REPERTÓRIOS DE OUVINTE E FALANTE EM CRIANÇAS COM TRANSTORNO DO ESPECTRO AUTISTA .................................................................... 105 1 INTRODUÇÃO ............................................................................................................... 107 2 OBJETIVOS .................................................................................................................... 114 3 MÉTODO ........................................................................................................................ 114 3.1 Participantes ............................................................................................................. 114 3.2 Aspectos éticos .......................................................................................................... 117 3.3 Local e condições ..................................................................................................... 117 3.4 Materiais e estímulos ................................................................................................ 118 3.5 Procedimento ............................................................................................................ 121 3.6 Procedimento de análise dos dados ......................................................................... 126 4 RESULTADOS ............................................................................................................... 128 5 DISCUSSÃO ................................................................................................................... 138 REFERÊNCIAS ................................................................................................................. 142 DISCUSSÃO GERAL ............................................................................................................ 145 REFERÊNCIAS GERAIS ...................................................................................................... 149 APÊNDICES .......................................................................................................................... 150 ANEXOS ................................................................................................................................ 164 21 1 INTRODUÇÃO O comportamento verbal é um comportamento operante passível de descrição a partir de suas variáveis controladoras, ou seja, o operante verbal age sobre o ambiente social, alterando-o, e é modificado pelas consequências decorrentes dessas alterações; as consequências alteram, inclusive, a probabilidade de emissão futura de respostas (SKINNER, 1957). A aquisição, manutenção e extinção do comportamento verbal nos três níveis de seleção pelas consequências – filogenético, ontogenético e cultural –, seguem os mesmos princípios dos demais comportamentos operantes não verbais, devido ao fato do mesmo ter sido estabelecido e mantido por possuir uma função adaptativa, tendo valor de sobrevivência para a espécie (BARROS, 2003). Um grito em função de um perigo iminente, um grito com a função de chamar ajuda e gritar porque foi instruído a fazê-lo, caso precisasse, certamente foram estabelecidos por contingências em níveis diferentes. O fato de a consequência que mantém o comportamento verbal ser mediada pelo comportamento de um ouvinte é o que vai diferenciar o operante verbal dos demais operantes não verbais. O ouvinte, para agir como tal, necessita de uma história de treino pela mesma comunidade verbal do falante e, sob efeito direto do comportamento deste, é que provê as modificações no ambiente que reforçam ou punem o comportamento verbal (SKINNER, 1957). Assim, considerando as variáveis antecedentes controladoras, Skinner (1957) descreveu e classificou os operantes verbais ecoico, tato, mando, transcritivo (ditado e cópia), textual, intraverbal e autoclítico. No escopo desse trabalho (Estudos 02 e 03) serão considerados o ecoico e o tato, uma vez que são repertórios básicos para a aquisição de outros operantes verbais (SKINNER, 1957) e sua aprendizagem por crianças com transtornos 22 neurodesenvolvimentais requer condições de ensino cuidadosamente planejadas (GREER; ROSS, 2008). Em uma perspectiva de desenvolvimento, a repetição de palavras também é considerada relevante, pois tanto em bebês ouvintes quanto em usuários de implante coclear funcionam como relações auditivo-motoras estabelecendo conexões neurais entre a produção e a percepção silábica, na transição das vocalizações não linguísticas para as linguísticas (FAGAN, 2015). O comportamento de ouvinte especialmente treinado nas convenções da comunidade verbal também será considerado. O ecoico é um operante verbal vocal apresentado já no estágio inicial do desenvolvimento típico quando o balbucio se torna diferenciado e passa a ser controlado discriminativamente pela fala do interlocutor, sendo sua característica fundamental a correspondência ponto a ponto entre o que é apresentado como estímulo discriminativo auditivo e a resposta ecoica; há uma identidade estrutural entre estímulo e resposta, sendo mantida por reforçadores sociais, como a aprovação. Um ponto importante é a relação temporal, ou seja, a resposta ecoica deve ser emitida logo após a apresentação do modelo (SKINNER, 1957). Por exemplo, uma mãe que pede para o filho repetir verbalmente o estímulo discriminativo verbal auditivo “carro”; nesse caso, a criança deveria responder verbalmente “carro” logo após a apresentação do modelo. A mãe poderia, em seguida, parabenizar o filho pela repetição. O tato caracteriza-se por ser uma resposta verbal vocal ou motora sob controle de estímulos discriminativos não verbais, como objeto, eventos, ou propriedades de objetos ou eventos; é mantido por consequências sociais quando há identidade funcional (arbitrária e culturalmente estabelecida) entre o estímulo discriminativo e a resposta (SKINNER, 1957). Assim, frente ao estímulo discriminativo visual “carro”, a criança responderia verbalmente “carro”. Como consequência, um pai que estivesse acompanhando o filho poderia elogiá-lo por tatear o objeto corretamente. O tato, segundo Skinner (1957), é o operante verbal mais 23 importante, pois coloca a audiência em contato com o ambiente físico que controla o comportamento de quem fala. Como poucos indivíduos possuem total ausência de comportamento verbal, o conceito de repertório verbal mínimo tem sido empregado para se referir a uma população com repertório verbal limitado comparado a indivíduos com desenvolvimento típico, que desenvolveriam o repertório verbal funcional sem a necessidade de uma programação explícita de contingências de ensino (MCILVANE; GERARD; KLEDARAS; MACKAY; LIONELLO-DENOLF, 2016). Algumas condições diagnósticas podem englobar indivíduos com repertório verbal mínimo, como a Desordem do Espectro da Neuropatia Auditiva (DENA), o Transtorno do Espectro Autista (TEA), pessoas com Deficiência Intelectual e diferentes Transtornos de Linguagem. Em outras palavras, muitas crianças com desenvolvimento típico aprenderiam uma topografia vocal na presença de objetos (p. ex. tato) ou a imitar palavras faladas por alguém (p. ex. ecoico) para, posteriormente, subsidiar o repertório de solicitar objetos conforme necessidade (p. ex. mando) de maneira muito incidental e decorrente das interações naturalísticas estabelecidas com seus cuidadores (GREER; ROSS, 2008; GREER; KEOHANE, 2009). Por outro lado, algumas crianças que possuem comportamento verbal severamente limitado, poderiam adquirir esses repertórios e outros mais complexos, envolvendo relações simbólicas (VARELLA, 2009; GOMES; DE SOUZA, 2016), desde que as condições sejam cuidadosamente planejadas (GREER; ROSS, 2008; GREER; KEOHANE, 2009). Neste trabalho será abordado, portanto, o estudo das condições de ensino de comportamento verbal elementar, especificamente ecoico, tato e comportamento de ouvinte, para pessoas com repertório verbal mínimo, especificamente em casos de DENA e TEA, considerando que em ambas as condições a manifestação clínica pode englobar déficit na 24 aquisição de comportamentos de ouvinte e de falante além de demonstrarem variabilidade muito grande na precisão com que esses repertórios são emitidos o que dificulta o processo de aprendizagem e a própria comunicação. Outro déficit relevante nessa população é a dificuldade para generalizar ou estabelecer a interdependência funcional como, por exemplo, aprender uma topografia com função de tato e emitir a mesma topografia com função de mando; ou aprender um repertório de ouvinte e transferir para um de falante, cujo produto da topografia de falante tenha correspondência com o estímulo auditivo. Uma das dimensões da Análise do Comportamento Aplicada (ABA), subsidiada por princípios teóricos e metodológicos já desenvolvidos pela pesquisa conceitual e básica, seria a sua aplicação na resolução de repertórios sociais relevantes (BAER; WOLF; RISLEY, 1968); dentre estes repertórios, a linguagem de maneira geral e o comportamento verbal de maneira particular são considerados relevantes. Nesse contexto, esta dissertação é composta por três estudos que pretendem abordar e discutir as condições de ensino de repertórios verbais, em especial pelo MEI, e as condições em que se observa a sua integração, isto é, interdependência funcional, segundo o referencial teórico da Análise do Comportamento. Considerando que um dos alvos do ensino é a promoção de respostas generalizadas e em contextos diversos, uma tecnologia implícita nessa programação é o treino por múltiplos exemplares. Por outro lado, em se tratando de comportamentos verbais, ao se ensinar uma topografia verbal controlada por um estímulo (p. ex. estímulo auditivo, como no caso de resposta ecoica), é desejado que essa topografia seja controlada por outros estímulos (p. ex. estímulo pictórico, em resposta de tato). Um dos procedimentos que promove a transferência do controle de estímulos é a instrução por múltiplos exemplares (Multiple Exemplar Instruction – MEI); o MEI, ao colocar diferentes operantes verbais em rotatividade (múltiplos controles de estímulos e múltiplas topografias de respostas), favorece o controle 25 compartilhado dos estímulos envolvidos sobre as respostas envolvidas (GREER; ROSS, 2008), sendo uma forma muito eficiente de novos repertórios. Considerando que o ensino por múltiplos exemplares tem sido adotado na literatura com diferentes arranjos de procedimentos e finalidades, e o uso do termo “multiple exemplar” por vezes é indiscriminado, o Estudo 01 sistematizou uma revisão de literatura realizada nas bases de dados Web of Science, Scopus e Pubmed de artigos de intervenção que usaram os termos "Multiple Exemplar Instruction" (MEI) ou “Multiple Exemplar Training” (MET). Além de identificar e descrever sob quais arranjos de procedimento o MEI tem sido usado e os resultados obtidos. Verificaram-se características de introdução (apresentação de definição dos termos MEI e MET e de citação de referências de estudos que usaram os referidos procedimentos), método (participantes, operantes e estrutura organizativa do MEI) e resultados (considerando o número de conjuntos de estímulos expostos ao MEI até obtenção dos critérios de aprendizagem estabelecidos pelos estudos). Os termos MEI e MET parecem se configurar em estratégias diferentes de ensino, ainda que em alguns estudos os mesmos sejam descritos de forma muito similares; o primeiro termo é frequentemente vinculado a uma estrutura que envolvendo rotatividade entre estímulos, respostas ou operações estabelecedoras, e o segundo relacionado à ampliação de exemplares de estímulos e/ou respostas como tecnologia para generalização. Foram propostos outros dois estudos verificando os efeitos do MEI e avaliando a variabilidade de desempenho em medidas repetidas de linha de base, antes e depois do ensino. Como os participantes envolvidos preenchem critérios diagnósticos muito distintos, foram propostos dois estudos. O Estudo 02 apresenta um estudo de caso que averiguou os efeitos do MEI sobre a integração entre operantes de ouvir e falar e sobre a variabilidade no desempenho nas respostas de ouvinte, de ecoico e de tato em um participante com diagnóstico de Desordem do 26 Espectro da Neuropatia Auditiva (DENA), usuário de implante coclear unilateral. A DENA é marcada pela dessincronia auditiva e, clinicamente percebida pela dificuldade em compreensão das palavras, mesmo em casos de perdas auditivas leves (CAPONE; TOORES; LIMA, 2011). A linha de base em respostas auditivas e vocais (tato e ecoico) foi monitorada por três sessões consecutivas; o participante foi exposto às rotinas de ensino e testes estruturados pelo MEI e pós-testes e follow up foram conduzidos. O MEI, diferentemente do que frequentemente se observa na literatura, inseriu o operante de ecoico juntamente com emparelhamento auditivo-visual e treino de tato, e suprimiu o operante de emparelhamento de identidade. De maneira geral, discute-se neste estudo questões como o número necessário de exposições ao MEI para a emergência da resposta de falante após o treino de ouvinte; após o MEI foi observada a redução na variabilidade de desempenho nas tarefas de falante e ouvinte registradas nos pré-testes e manutenção em medidas de follow-up. O Estudo 03 verificou se os procedimentos de ensino e os múltiplos testes adotados no Estudo 02 teriam efeitos semelhantes sobre o repertório de tato e a variabilidade comportamental em três crianças com diagnóstico de Transtorno do Espectro Autista (TEA). Os resultados replicam o que a literatura expõe sobre a emergência de repertórios não ensinados diretamente após o MEI e que o treino somente do repertório de ouvinte não garante a emergência do repertório de falante. Discutem-se questões como a interdependência funcional entre os repertórios de ouvinte (baseado em seleção) e falante (ecoico e tato); alteração na variabilidade de desempenho após única exposição ao MEI em medidas de pós- teste; e inclusão do ecoico em rotatividade com tato e o repertório de ouvinte durante o MEI. 27 ESTUDO 01 REVISÃO DE LITERATURA DO USO DOS TERMOS TREINO POR MÚLTIPLOS EXEMPLARES E INSTRUÇÃO POR MÚLTIPLOS EXEMPLARES1 1 Parte deste estudo foi submetida as considerações de uma revista cientifica visando publicação, sob o título “Múltiplos exemplares: Diferentes usos na literatura”. 28 ESTUDO 01 – REVISÃO DE LITERATURA DO USO DOS TERMOS TREINO POR MÚLTIPLOS EXEMPLARES E INSTRUÇÃO POR MÚLTIPLOS EXEMPLARES RESUMO Ainda que o uso de múltiplos exemplares de estímulos e respostas durante o ensino não seja recente, os conceitos de Multiple Exemplar Training (MET) e Multiple Exemplar Instruction (MEI), às vezes são adotadas de forma equivalente ainda que, por vezes, representem arranjos diferentes. Assim, o objetivo do presente trabalho foi realizar uma revisão da literatura para sistematizar o uso dos termos MEI e MET. Em especial, dos artigos que usaram o termo MEI, identificar e descrever sob quais arranjos de procedimento tem sido usado e os resultados obtidos. A busca foi feita em setembro de 2018, nas bases de dados Web of Science, Scopus e Pubmed, sem restrição de ano, com os descritores e marcadores boleanos: "multiple exemplar instruction" OR “multiple exemplar training". No Web of Science, esses termos deveriam estar presentes no tópico; no Scopus, no título, resumo ou palavra-chave; e no Pubmed, no título ou resumo. Todas as buscas foram refinadas pelo tipo de documento, sendo selecionados apenas artigos. Encontrou-se um total de 150 artigos (sendo 51 estudos no Web of Science, 54 no Scopus e 45 estudos no Pubmed), finalizando com 65 artigos após aplicação dos critérios de seleção. Houve a exclusão de artigos duplicados entre as bases de dados, artigos de revisão, trabalhos teóricos e estudos que utilizaram animais. Os artigos que usaram os termos MEI ou MET foram analisados: o ano de publicação e definição dos termos MEI ou MET (diferenciando estudos com e sem citação de referências de estudos que utilizaram procedimento similar). Considerando estudos que usaram apenas a proposta de MEI, verificou-se se este era o procedimento alvo (ou principal) ou complementar ao delineamento proposto, identificaram-se os operantes ensinados, a estrutura organizativa dos mesmos e controle de estímulos constituintes do MEI, e se havia follow-up. Considerando os participantes, foi analisado o número, idade e diagnósticos. Por fim, considerando os resultados, verificou-se o número de conjuntos de estímulos expostos ao MEI até obtenção dos critérios de aprendizagem estabelecidos pelos programas. De maneira geral, os resultados mostraram que os termos MEI e MET ora aparecem vinculados a uma estrutura de ensino que estabelece controle conjunto de estímulos, envolvendo rotatividade entre estímulos, respostas ou operações estabelecedoras (MEI), ora relacionado à ampliação de exemplares de estímulos e/ou respostas como tecnologia para generalização (MET). Observa-se que a exposição de um conjunto de estímulos ao MEI no ensino rotativo de respostas de ouvinte e falante e posterior emergência de falante é suficiente para populações com diagnósticos diferentes de TEA; embora a população mais frequentemente envolvida nos estudos seja de crianças com este diagnóstico. Palavras-chave: múltiplos exemplares, ensino, comportamento verbal, revisão de literatura. 29 1 INTRODUÇÃO Ampliar e desenvolver novos repertórios comportamentais permite com que o indivíduo entre em contato com novas contingências que, por sua vez, selecionam novos repertórios e os tornam mais complexos (SKINNER, 1972). Nesse contexto, o planejamento de contingências que visem auxiliar no desenvolvimento de repertórios comportamentais novos ou ampliação de repertórios já adquiridos, é de extrema importância; assim como o planejamento da generalização de estímulos e de respostas. O processo de generalização de estímulos ocorre quando uma mudança comportamental estabelecida em um contexto de ensino se sustenta ao longo do tempo e começa a ocorrer em diferentes ambientes e com diferentes pessoas, ou seja, na presença de diferentes estímulos (BAER; WOLF; RISLEY, 1968; ZILIO, 2010). Por exemplo, uma criança que é ensinada a permanecer sentada durante a sessão de ensino com um psicoterapeuta e ao sair da sessão consegue permanecer sentada em casa na presença dos pais, na escola, no shopping e outros contextos em que esta habilidade é requerida e na presença de diversas pessoas, mantendo-se ao longo do tempo. Já a generalização de respostas é observada quando outros comportamentos além daquele diretamente ensinado produz as mesmas consequências (BAER; WOLF; RISLEY, 1968; ZILIO, 2010). A título de exemplo de um caso especifico em comportamento verbal, uma criança poderia ser ensinada a emitir um mando para água dizendo “água” e, a partir desse ensino, poderia pedir de diferentes formas a mesma coisa como dizer “dá”, “dá água”. Nesse sentido, a generalização é um aspecto fundamental do ensino, sendo, inclusive, critério de sucesso terapêutico em alguns processos de prática clínica (CERON; KESKE- SOARES, 2009; WIETHAN; MOTA, 2010), pois seria impossível ensinar diretamente todas 30 as habilidades em todos os contextos, com todas as variações possíveis de estímulos e respostas (STOKES; BAER, 1977). Além disso, a generalização pode não ocorrer simplesmente porque uma mudança em um repertório em um contexto de ensino é estabelecida, especialmente em alguns casos diagnósticos, como o TEA (FRAGALE et al., 2012; JESUS; OLIVEIRA; REZENDE, 2017), sendo necessário programá-la ao invés de se esperar passivamente sua ocorrência (BAER; WOLF; RISLEY, 1968; STOKES; BAER, 1977). Um desafio, portanto, é estabelecer programas que incluam o planejamento da generalização e manutenção (FAZZIO, 2002) e medidas para avaliar este processo (FRAGALE et al., 2012), pois se a generalização não é alcançada, não significa necessariamente que o ensino falhou, mas sim que é preciso pensar em quais estratégias precisariam ser empregadas até que esse processo ocorra (BAER; WOLF; RISLEY, 1968). Stokes e Baer (1977) descrevem algumas técnicas que objetivam programar a generalização, quais sejam: (a) train and hope, no qual se ensina um repertório e se espera que a generalização ocorra sem programação explícita; (b) sequential modification, em que se ensina um repertório e, se a generalização estiver ausente ou deficiente, são utilizados procedimentos para realizar as mudanças desejadas em todas as condições não generalizadas de forma sequenciada (respostas, estímulos, pessoas, etc.); (c) introduce to natural maintaining contingencies, cujo objetivo é ensinar comportamentos com contingências de reforçamento que os mantenham em ambiente natural; (d) train loosely, seria o ensino com pouco controle sobre os estímulos apresentados e as respostas corretas permitidas, visando maximizar a amostragem de dimensões relevantes para a transferência para outras situações e outras formas de comportamento; (e) use indiscriminable contingencies, em que se usam esquemas de reforçamento intermitente, de forma que as contingências de reforçamento e não reforçamento se tornem indiscriminadas; (f) program common stimulie, que visa inserir no 31 ensino componente de estímulos que ocorrem em comum nos cenários de treinamento e de generalização; (g) mediate generalization, na qual se estabelece uma resposta como parte do novo aprendizado que provavelmente será utilizado em outros problemas também, e que constituirá uma semelhança suficiente entre o aprendizado original e o novo problema para resultar em generalização; (h) train "to generalize", como o próprio nome diz, se programam contingências de reforçamento para treinar a generalização; e (i) o treino com exemplares suficientes (train sufficient exemplars), descrito a seguir e que será um dos focos no presente trabalho. O treino com exemplares suficientes seria uma possível rota para a generalização, na qual se programam treinos com exemplares suficientes de estímulos e/ou respostas, ao invés de todos os estímulos e respostas, para que a generalização dessas condições não treinadas ocorra. Em outras palavras, seria ensinar outros exemplares de estímulos ao invés de apenas um ao longo do treino até que haja generalização. Da mesma maneira, para que a generalização de certas respostas para diversos contextos ou pessoas ocorra, o treinamento deve ocorrer através de um número (suficiente) de condições de contextos e/ou pessoas (STOKES; BAER, 1977). Outro termo utilizado na literatura às vezes como sinônimo de treino com exemplares suficientes seria o Multiple Exemplar Training (MET) (HOLTH, 2017). Mais recentemente na literatura, Greer e colaboradores (GREER; ROSS, 2008; FIORILE; GREER, 2007; NUZZOLO-GOMEZ; GREER, 2004) utilizam o termo multiple exemplar para especificar a rotatividade entre controle de estímulos distintos e topografias de respostas distintas para estabelecer controle compartilhado. Inclusive, Greer e Ross (2008) fazem uma separação entre dois tipos de uso do termo multiple exemplar. O primeiro tipo 32 seria o general case teaching, referente ao ensino de abstrações2 ou ao ensino do controle compartilhado de estímulos3, no qual o indivíduo responderia a apresentações de abstrações em que aspectos irrelevantes de um estímulo ou um conjunto de estímulos (exemplares negativos) são rotacionados com exemplares positivos. O segundo tipo, Multiple Exemplar Instruction (MEI), também envolve trazer respostas inicialmente independentes sobre controle compartilhado de estímulos, mas por meio da rotação de respostas diferentes a uma classe de estímulos, de tal forma que o indivíduo adquira a capacidade de aprender múltiplas respostas com novos conjuntos de estímulos a partir da instrução de apenas uma resposta (ex.: depois de aprender a ecoar uma palavra, a criança pode tatear e emitir mandos para a mesma palavra sem instrução direta); ou ainda o uso de MEI de operações estabelecedoras, por exemplo, para mandos e tatos com resultado na emergência de respostas não ensinadas dentro de cada função verbal. Holth (2017) revisou brevemente as bases teóricas e empíricas do Multiple Exemplar Training, descrevendo um caminho para entender o conceito de exemplares (de estímulos ou de respostas), além de apontar exemplos de habilidades cujo ensino é otimizado quando adota múltiplos exemplares de estímulos ou de respostas (ex.: abstração, relações entre estímulos, matching de identidade, seguimento de regras, esquema de reforço Lag N, responder perguntas quem, onde, o que e quando, descrição de eventos passados, learning sets, e continuous repertoires). Além disso, identificou algumas limitações do que pode ser diretamente ensinado e de sugerir estratégias alternativas para generalização, retomando, por exemplo, a técnica proposta por Stokes e Baer (1977), qual seja: mediated generalization. 2 A abstração ocorre quando “uma classe operante verbal fica sob controle de uma propriedade específica dos objetos ou eventos aos quais as respostas verbais pertencentes à classe se referem. […] o sujeito passa, então, a responder discriminativamente perante apenas essa propriedade” (p. 147, ZILIO, 2010). 3 O controle compartilhado de estímulos ocorre quando “O controle adquirido por um estímulo é compartilhado por outros estímulos com propriedades semelhantes ou, para colocar de outra forma, que o controle é compartilhado por todas as propriedades do estímulo tomadas separadamente” (p. 134, SKINNER, 1953/1965 apud p. 147, ZILIO, 2010). 33 Em revisão realizada por Holth (2017) na base de dados PsycINFO com a palavra- chave exemplar training, com restrição de presença do termo no título ou resumo, foram identificadas 86 publicações. O primeiro artigo encontrado que utilizava o termo Multiple Exemplar Training (MET) foi de Hughes e Rusch (1989). Entretanto, é ressaltado que o MET já era usado antes mesmo desse rótulo ser introduzido, citando, por exemplo, trabalhos de Thorndike (1911/2000), Hull (1920) e Loovas (1981). De acordo com Holth (2017), os termos Multiple Exemplar Training (MET) e Multiple Exemplar Instruction (MEI) parecem se constituir, às vezes, em sinônimos. No entanto, assinala que parece haver diferentes tipos de treinamentos com múltiplo de exemplares (GREER; ROSS, 2008), e uma análise do conceito em si poderia ser útil. No estudo de Hughes e Rusch (1989), primeiro artigo identificado na revisão de Holth (2017) utilizando o termo múltiplo exemplar, dois indivíduos com retardo mental severo4, funcionários de uma empresa, foram ensinados a usar a autoinstrução em combinação com treino com múltiplos exemplares para resolver problemas relacionados ao trabalho. A autoinstrução consistia em os participantes (a) verbalizarem a situação problema (ex.: “O rádio está desconectado”), (b) relatarem qual a resposta correta para resolver a situação (ex.: “Preciso plugar o rádio”), (c) auto reportar (ex.: “Pluguei”), e (d) auto reforço (ex.: “Excelente!”). O treino com múltiplos exemplares constituía no ensino de cinco situações problema que eram apresentadas aleatoriamente em todas as sessões de treinamento (exemplos de situações: cinco pedaços de lixo em cima da mesa ou a cadeira está no centro da sala de trabalho). O uso das estratégias combinadas (autoinstrução+MET) resultou na generalização dos efeitos de variáveis independentes, bem como na generalização para situações problema não treinadas. Os autores não apresentam uma definição do conceito de 4 Terminologia utilizada na época de publicação do estudo. 34 múltiplos exemplares, todavia, fazem referência ao estudo de Stokes e Baer (1977) ao se referirem ao conceito. Há também estudos nacionais de revisão de literatura que, entre outros objetivos, categorizam estudos em relação à estrutura de ensino (ESTEVES; LUCCHESI; ALMEIDA- VERDU, 2014; GUERRA; ALMEIDA-VERDU, 2016). Esteves, Lucchesi e Almeida-Verdu (2014) revisaram artigos que estudaram o estabelecimento de operantes verbais e verificaram a incidência do ensino de ecoico, tato e mando no Journal of Applied Behavior Analysis (JABA), de 1968 a 2012. Dos 45 artigos selecionados de acordo com os critérios da revisão, dez relataram o ensino de mais de um operante verbal. Entre estes, os autores da revisão consideraram que apenas dois utilizaram o MEI, ainda que esse não fosse o procedimento alvo do estudo em questão (ROSALES; REHFELDT; HUFFMAN, 2012) ou não houvesse referência ao MEI em nenhum momento no estudo (ARNTZEN; ALMÅS, 2002). Por exemplo, no estudo de Rosales, Rehfeldt, & Huffman (2012), o procedimento que o estudo pretendia avaliar era o Stimulus Pairing Observation Procedure5 (SPOP), o MEI só era empregado caso os participantes não apresentassem a emergência das relações de ouvinte e tatos após o ensino por SPOP. Neste mesmo estudo, os autores usam o termo MET, ainda que a forma como o procedimento é descrito no método corresponda à definição de MEI e citem referência de autores que usam esse último procedimento, como o estudo de Greer e colaboradores (2005). Na revisão de Guerra e Almeida-Verdu (2016) feita no The Analysis of Verbal Behavior (TAVB), as autoras selecionaram e analisaram estudos de 1982 até 2013, sobre ensino de operantes verbais em crianças com transtorno do espectro autista (TEA). Dos 39 artigos analisados segundo critérios da revisão, para 10,2% dos estudos utilizou-se com estrutura de ensino o MEI. Como o objetivo dessa revisão não era verificar o uso do termo 5 Stimulus pairing observation procedure (SPOP) consiste em expor o indivíduo a repetidos emparelhamentos entre estímulos visuais e auditivos para promover a emergência de respostas não ensinadas diretamente (BYRNE; REHFELDT; AGUIRRE, 2014). 35 MEI, não foi verificada qual a definição utilizada por esses estudos. A classificação do uso ou não do termo foi feita pelas próprias autoras (GUERRA; ALMEIDA-VERDU, 2016), sendo que o procedimento alvo nos trabalhos analisados não necessariamente era esse (ex.: SPRINKLE; MIGUEL, 2012, que focava o ensino de relações de equivalência). Ainda que o uso de múltiplos exemplares de estímulos e respostas durante o ensino não seja recente (STOKES; BAER, 1977; HOLTH, 2017), os conceitos de MET e MEI às vezes são adotadas de forma semelhante e equivalente ainda que, por vezes, representem arranjos de estímulos diferentes. Além disso, há revisões de literatura que se propõe a verificar quantidade de estudos que utilizam o MEI (ESTEVES; LUCCHESI; ALMEIDA- VERDU, 2014; GUERRA; ALMEIDA-VERDU, 2016), ainda que os objetivos dos trabalhos em questão sejam outros, sem apresentar uma análise de como o termo é utilizado na literatura. O presente estudo parte de uma mesma observação/ fato apresentado por Holth (2017), qual seja, o uso irregular e inconsistente do termo múltiplos exemplares. No entanto, enquanto Hotlh (2017) visa uma análise conceitual, o presente estudo propõe analisar quando (as condições experimentais que vigoram) os termos são usados. Portanto, explorar, revisar e sistematizar o uso dos termos Multiple Exemplar Training (MET) e Multiple Exemplar Instruction (MEI) parece ser uma questão pertinente de estudo. 2 OBJETIVOS O objetivo do presente trabalho foi realizar uma revisão da literatura para sistematizar o uso dos termos Multiple Exemplar Instruction (MEI) e Multiple Exemplar Training (MET). Em especial, dos artigos que usaram o termo MEI, identificar e descrever quais arranjos de procedimento tem sido usado e os resultados obtidos. 36 3 MÉTODO Foi realizada uma busca nas bases de dados Web of Science, Scopus e Pubmed, sem restrição de período. A escolha por essas três bases de dados deu-se pela abrangência de artigos e pelo grande número de periódicos indexados nas mesmas, aumentando as possibilidades de encontrar publicações na área. A revisão foi feita de forma sistemática, seguindo a recomendação PRISMA (Preferred Reporting Items for Systematic Reviews and Meta-Analyses) que consiste em um checklist com 27 itens e um fluxograma de quatro etapas (FIGURA 02), permitindo tanto melhorar o relato das revisões sistemáticas e meta-análises como auxiliar na crítica de revisões sistemáticas publicadas (GALVÃO; PANSANI, 2015). A revisão é sistemática quando realizada de modo abrangente, imparcial e passível de reprodução, visando responder a uma questão específica de um problema de pesquisa, localizando, avaliando e sintetizando o conjunto de evidências dos estudos científicos (BRASIL, 2012). Etapa 1- Pesquisou-se nas bases de dados Web of Science, Scopus e Pubmed, sem restrição de período, os seguintes descritores e marcadores boleanos: "multiple exemplar instruction" OR “multiple exemplar training". No Web of Science, os termos foram restringidos a presença no tópico; no Scopus, no título, resumo ou palavra-chave; e no Pubmed, no título ou resumo. Todas as buscas foram refinadas pelo tipo de documento, ou seja, foram selecionados apenas artigos. A busca foi feita em setembro de 2018. Etapa 2 – Leu-se os títulos para excluir artigos duplicados entre as bases de dados. Etapa 3 – Em seguida, foi feita a leitura dos títulos, resumos e palavras-chave dos artigos. Os critérios de exclusão foram: artigos de revisão; trabalhos teóricos; estudos que utilizaram animais. 37 Etapa 4 – Foi realizada a leitura na íntegra dos estudos para análise (FIGURA 01). Os artigos que usaram os termos MEI ou MET foram analisados nos seguintes quesitos: a) ano de publicação; e b) definição dos termos MEI ou MET; foram diferenciadas as definições com citação de referências e sem citação de estudos que utilizaram procedimento similar. Considerando estudos que usaram apenas a proposta de MEI, c) verificou-se se o MEI era o procedimento alvo (ou principal) ou complementar ao delineamento proposto; d) foram identificados os operantes ensinados pelo MEI; e) a estrutura organizativa dos operantes e controle de estímulos constituintes do MEI, que podem ser linear ou randomizada; f) se havia follow-up; considerando os resultados, foram considerados g) o número de conjuntos de estímulos expostos ao MEI até obtenção dos critérios de aprendizagem estabelecidos pelos programas; considerando os participantes, foram considerados h) número, i) idade, e j) diagnósticos. 38 Figura 01 – Etapas de análise dos artigos selecionados. Referências (autores/ano) MEI MET Introdução Introdução Método Resultados Definição de MET (se sim (qual?) /Não) Definição de MEI (se sim (qual?) /Não) Citação de referências que usam o procedimento (sim/ não) Citação de referências que usam o procedimento (sim/ não) N° de conjuntos de estímulos expostos ao MEI (se procedimento alvo) Participantes Quantidade Idade Diagnóstico Se procedimento principal Se procedimento complementar Operantes alvos de ensino Estrutura (linear/ randomizada) Follow-up (sim/ não) 39 4 RESULTADOS Foram selecionados 65 artigos de acordo com os critérios estabelecidos (FIGURA 02). Figura 02 – Fluxograma de seleção de revisão segundo PRISMA. A Figura 03 apresenta a frequência acumulada dos artigos selecionados com os termos Multiple Exemplar Training (MET) e Multiple Exemplar Instruction (MEI) de acordo com o ano de publicação, até o ano de 2018. Referências duplicadas excluídas: (n = 77) Referências identificadas no Web of Science: (n = 51) T ri ag em In cl u sã o E le g ib il id ad e Id en ti fi ca çã o Referências triadas por resumo: (n = 73) Referências selecionadas para análise do texto completo: (n = 65) Referências excluídas, segundo Etapa 3: (n = 8) Estudos incluídos para análise: (n = 65) Referências identificadas no Scopus: (n = 54) Referências identificadas no Pubmed: (n = 45) 40 Figura 03 – Frequência acumulada dos artigos que usam os termos Multiple Exemplar Training (MET) ou Multiple Exemplar Instruction (MEI) de acordo com o ano de publicação. Dos 65 artigos selecionados de acordo com os critérios estabelecidos, 52 utilizam o termo Multiple Exemplar Training (MET); e 13 estudos utilizam Multiple Exemplar Instruction (MEI). O primeiro artigo a utilizar MET, na presente revisão, foi o de Hughes e Rusch (1989); enquanto que o MEI foi o trabalho de Nuzzolo-Gomez e Greer (2004). Considerando a apresentação, na introdução dos artigos, de uma definição de MET e de citação de referências de estudos que utilizaram esse procedimento (TABELA 01), de maneira geral, os estudos analisados podem ser divididos em três grupos, quais sejam: (1) aqueles que fazem uma definição do conceito e citam estudos que usam o MET, no total de 19 artigos (ex.: HIER; ECKERT, 2016; PARRA; RUIZ, 2016); (2) aqueles que não fazem uma definição, mas fazem referência a estudos que usam esse procedimento, no total de 22 (ex.: WYMER, et al., 2016; NAJDOWSKI, et al., 2017); e (3) artigos que não trazem uma definição, nem citam referências, no total de 11 (ex.: ALBRIGHT, et al., 2016; BORD, et al., 2017). 41 Tabela 01 - Presença, na introdução dos artigos, de uma definição de MET e MEI e de citação de referências de estudos que utilizaram os referidos procedimentos. Referências de estudos Definição do conceito Multiple Exemplar Training Multiple Exemplar Instruction Com definição Sem definição Com definição Sem definição Com referência HUGHES, et al., 1995. CARR, 2003. REEVE, et al., 2007 BROWN; PEACE; PARSONS, 2009. JIMENEZ; BROWDER; COURTADE, 2009. GOULD, et al. 2011. ROSALES; REHFELDT; LOVETT, 2011. TARBOX, et al., 2012. MEINDL, et al., 2013. GARCIA-ALBEA, et al., 2014. ALBRIGHT, et al., 2015. VARELAS; FIELDS, 2015. VIZCAÍNO-TORRES, et al., 2015. HIER; ECKERT, 2016. PARRA; RUIZ, 2016. THIRUS; STARBRINK; JANSSON, 2016. TUCKER; GAMBA; WALKER, 2016. DASS; KISAMORE; VLADESCU, 2018. SCHNELL; VLADESCU; KODAK; NOTTINGHAM, 2018. HUGHES; RUSCH, 1989. CULLINAN; BARNES- HOLMES; SMEETS, 2001. LUCIANO; BARNES-HOLMES; BARNES-HOLMES, 2002. BERENS; HAYES, 2007. LUCIANO; BECERRA; VALVERDE, 2007. MINAROVIC; BAMBARA, 2007. SILVA; SOUZA, 2009. O'CONNOR; BARNES- HOLMES; BARNES-HOLMES, 2011. CASSIDY; ROCHE; HAYES, 2011. MARZULLO-KERTH, et al., 2011. PERSICKE, et al., 2012. ROSALES; REHFELDT; HUFFMAN, 2012. PERSICKE, et al., 2013. RANICK, et al., 2013. DAY-WATKINS; MURRAY; CONNEL, 2014. GARCÍA; GONZÁLEZ; LEFKOWITZ, 2014. SPOONER; KEMP-INMAN; AHLGRIM-DELZELL; WOOD; DAVIS, 2015. WYMER, et al., 2016. NAJDOWSKI, et al., 2017. SIVARAMAN, 2017. CORTES; COBOS; TARBOX, 2018. NUZZOLO-GOMEZ; GREER, 2004. GREER, et al., 2005. GREER; YUAN; GAUTREAUX, 2005. GREER; YUAN, 2008. SILBER; MARTENS, 2010. LUKE, et al., 2011. SPECKMAN; GREER; RIVERA-VALDES, 2012. BYRNE; REHFELDT; AGUIRRE, 2014. LECHAGO, et al., 2015. GREER; DU, 2015. SANTOS; SOUZA, 2016. FIORILE; GREER, 2007. GILIC; GREER, 2011. Sem referência ---------- TAYLOR; O'REILLY, 2000. FIELDS, et al., 2002. ROCHE, et al., 2004. MURPHY; BARNES-HOLMES, 2010. BALTRUSCHAT, et al., 2012. RUIZ; PERETE, 2015. ALBRIGHT, et al., 2016. BORD, et al., 2017. PEREZ; KOVAC; NICO, 2017. GROB, et al.,, 2018. MAY; SHAYTER; SCHMICK, 2018. NAJDOWSKI, et al., 2018. ---------- ---------- 42 Quadro 01 – Resumo das definições de MET apresentadas nas introduções dos estudos selecionados Em relação aos trabalhos que fazem definição do termo (QUADRO 01), alguns se referiram ao MET com definições próximas ou como sinônimo de treino por exemplares suficientes para estabelecer repertórios verbais emergentes e para proporcionar a generalização. Envolveria, por exemplo, ensinar diretamente um comportamento específico com uma diversidade de variações de estímulos (MEINDL, et al., 2013; ALBRIGHT, et al., 2015; VIZCAÍNO-TORRES, et al., 2015; PARRA; RUIZ, 2016; THIRUS; STARBRINK; JANSSON, 2016; DASS; KISAMORE; VLADESCU, 2018; SCHNELL; VLADESCU; KODAK; NOTTINGHAM, 2018) ou topografias de resposta (HUGHES, et al., 1995; BROWN; PEACE; PARSONS, 2009; Resumo da definição apresentada Referências Ensinar diretamente um comportamento específico com variações de estímulos MEINDL, et al., 2013; ALBRIGHT, et al., 2015; VIZCAÍNO-TORRES, et al., 2015; PARRA; RUIZ, 2016; THIRUS; STARBRINK; JANSSON, 2016; DASS; KISAMORE; VLADESCU, 2018; SCHNELL, et al., 2018 Ensinar diretamente um comportamento específico com variações de topografias de resposta HUGHES, et al., 1995; BROWN; PEACE; PARSONS, 2009; GOULD, et al., 2011 Variação de estímulos ou topografias de respostas CARR, 2003; REEVE, et al., 2007; ROSALES; REHFELDT; LOVETT, 2011; GARCIA- ALBEA, et al., 2014; HIER; ECKERT, 2016 História de reforço para responder às relações condicionais entre estímulos TARBOX, et al., 2012 Instrução incluindo dois ou mais exemplares (não cita se são exemplares de respostas ou estímulos) para promover a generalização TUCKER; GAMBA; WALKER, 2016; JIMENEZ; BROWDER; COURTADE, 2009 Apresentação de muitos exemplares de estímulos positivos e negativos durante o treinamento VARELAS; FIELDS, 2015 43 GOULD, et al., 2011); ou podendo ocorrer variação das duas variáveis, ou seja, estímulos ou topografias de respostas (CARR, 2003; REEVE, et al., 2007; ROSALES; REHFELDT; LOVETT, 2011; GARCIA-ALBEA, et al., 2014; HIER; ECKERT, 2016). Tarbox e colaboradores (2011) referiram-se ao MET apenas como uma história de reforço para responder às relações condicionais entre estímulos e, outros dois (TUCKER; GAMBA; WALKER, 2016; JIMENEZ; BROWDER; COURTADE, 2009) definiram MET como uma instrução incluindo dois ou mais exemplares (não cita se são exemplares de respostas ou estímulos) para promover a generalização. Para Varelas e Fields (2015), MET seria a apresentação de muitos exemplares positivos e negativos durante o treinamento. Em relação ao uso de MEI, os estudos podem ser divididos em dois grupos (TABELA 01): (1) aqueles que fazem uma definição do conceito e citam estudos que usam esse procedimento, no total de 11 artigos (ex.: GREER; DU, 2015; SANTOS; SOUZA, 2016); e (2) os que não fazem uma definição, mas citam referências de estudos que usam o MEI, no total de dois (FIORILE; GREER, 2007; GILIC; GREER, 2011). Sobre os trabalhos que fazem definição de MEI (QUADRO 02), alguns definiram esse procedimento como uma forma de estabelecer os repertórios de falante e ouvinte, resultando na emergência da capacidade de aprender novos conjuntos de relações, por meio do provimento de instruções com múltiplos conjuntos de estímulos (BYRNE; REHFELDT; AGUIRRE, 2014; GREER; DU, 2015). Silber e Martens (2010) referem-se ao MEI como uma abordagem em que habilidades são ensinadas usando exemplares com variação de estímulos e respostas esperadas no contexto de generalização. Outros estudos definiram o MEI como procedimento que resulta no desenvolvimento de abstração ou controle compartilhado 44 de estímulo para operantes verbais originalmente independentes (NUZZOLO-GOMEZ; GREER, 2004), seja por meio da variação de diferentes respostas a um estímulo (SANTOS; SOUZA, 2016), assim como o ensino de uma resposta a vários estímulos (GREER; YUAN; GAUTREAUX, 2005) ou, além das duas formas, uma única resposta pode estar sob o controle de diferentes operações estabelecedoras (GREER, et al., 2005). Quadro 02 – Resumo das definições de MEI apresentadas nas introduções dos estudos selecionados Resumo da definição apresentada Referências Instruções com múltiplos conjuntos de estímulos. BYRNE; REHFELDT; AGUIRRE, 2014; GREER; DU, 2015 Ensino com variação de estímulos e respostas esperadas no contexto de generalização. SILBER; MARTENS, 2010 Procedimento que resulta no desenvolvimento de abstração ou controle compartilhado de estímulo para operantes verbais originalmente independentes (1), seja por meio da variação de diferentes respostas (2), estímulos (3) ou operações estabelecedoras (4). (1) NUZZOLO-GOMEZ; GREER, 2004; (2) SANTOS; SOUZA, 2016; (3) GREER; YUAN; GAUTREAUX, 2005; (4) GREER, et al., 2005 Procedimento que apresenta de forma rotativa estímulos e diferentes respostas aos mesmos, podendo ser feito por meio de conjuntos de estímulos, tipos de resposta e operações estabelecedoras. LUKE, et al., 2011 Rotatividade de diversas respostas para um único estímulo, ou a rotação de diferentes conformações de estímulo para uma única resposta, com alternância entre respostas de ouvinte e falante. GREER; YUAN, 2008 Maneira de alcançar respostas emergentes entre operantes verbais e entre repertórios de ouvinte e falante ou formas de resposta inicialmente funcionalmente independentes, com alternância de instrução entre duas ou mais funções de respostas com um subconjunto de exemplares. LECHAGO, et al., 2015 Exposição rotativa a uma variedade de respostas em diferentes contextos situacionais. SPECKMAN; GREER; RIVERA-VALDES, 2012 45 Ao que diz respeito à rotatividade durante o ensino, Luke e colaboradores (2011) se referiram ao MEI como um procedimento que apresenta de forma rotativa estímulos e diferentes respostas aos mesmos, podendo ser feito por meio de conjuntos de estímulos, tipos de resposta e operações estabelecedoras. Greer e Yuan (2008) também citam a possibilidade do MEI envolver a rotatividade de diversas respostas para um único estímulo, ou a rotação de diferentes conformações de estímulo para uma única resposta, com alternância entre respostas de ouvinte e falante. Lechago e colaboradores (2015) afirmam que o MEI é uma maneira de alcançar respostas emergentes entre operantes verbais e entre repertórios de ouvinte e falante ou formas de resposta inicialmente funcionalmente independentes, com alternância de instrução entre duas ou mais funções de respostas com um subconjunto de exemplares. Por fim, Speckman, Greer e Rivera-Valdes (2012) também apontam que quando há exposição rotativa a uma variedade de respostas em diferentes contextos situacionais, as respostas e as fontes de controle de estímulos sobre eles são refinadas. A segunda parte de análise da revisão foi feita com os 13 estudos identificados usando o termo MEI, de acordo com a figura 04. Figura 04 – Análise dos estudos que utilizaram o MEI. 46 Considerando o momento da intervenção em que o procedimento foi utilizado, tem-se que 12 estudos o usaram como procedimento principal, ou seja, o MEI era o procedimento foco da intervenção; enquanto que apenas um artigo usou o MEI como um procedimento complementar (BYRNE; REHFELDT; AGUIRRE, 2014), que só seria aplicado caso os participantes não atingissem o critério de outro procedimento aplicado anteriormente, sendo que outra forma de intervenção era o foco do estudo (Stimulus Pairing Observation Procedure – SPOP). Os 12 artigos que tiveram o MEI como procedimento principal de estudo visavam o ensino de repertórios variados. Alguns estudos faziam rotatividade apenas de repertórios de falante, como mando e tato (NUZZOLO-GOMEZ; GREER, 2004), ditado e intraverbal (GREER; YUAN; GAUTREAUX, 2005) e tato e autoclítico (LUKE, et al, 2011; SPECKMAN; GREER; RIVERA-VALDES, 2012); enquanto outros estudos envolviam rotatividade entre os repertórios de ouvinte e falante, como ensino de matching auditivo-visual, IdMTS e tato (GREER, et al., 2005; FIORILE; GREER, 2007; GILIC; GREER, 2011; SANTOS; SOUZA, 2016), matching auditivo- visual e intraverbal (LECHAGO, et al., 2015), matching auditivo-visual e textual (leitura) (SILBER; MARTENS, 2010) ou ainda matching auditivo-visual e tato (LECHAGO, et al., 2015; GREER; DU, 2015). Não houve medida de follow-up em nenhum artigo selecionado para análise que utilizasse o MEI. Sobre a estrutura do MEI, para uso do presente trabalho, foi subdividido em duas categorias, o MEI linear e o MEI randomizado. O MEI linear refere-se à apresentação linear dos estímulos para cada operante alvo de ensino (ex.: ensina-se ecoico, tato e mando para um estímulo; em seguida segue o ensino dessa mesma sequência de operantes, mas para um novo estímulo). O MEI randomizado seria o ensino totalmente randomizado para operantes e estímulos (ex.: há uma tentativa de ecoico para um 47 estímulo, seguida de uma tentativa de tato para outro estímulo e assim por diante). O ensino ocorreu de forma linear nos primeiros três estudos que apareceram na revisão, de 2004 e 2005 (NUZZOLO-GOMEZ; GREER, 2004; GREER, et al., 2005; GREER; YUAN; GAUTREAUX, 2005); a partir de 2007, oito estudos foram estruturados de forma randomizada (FIORILE; GREER, 2007; GREER; YUAN, 2008; SILBER; MARTENS, 2010; GILIC; GREER, 2011; LUKE, et al., 2011; LECHAGO, et al., 2015; GREER; DU, 2015; SANTOS; SOUZA, 2016); e, em um artigo, essa informação não aparece no método (SPECKMAN; GREER; RIVERA-VALDES, 2012). Quanto à faixa etária das populações alvo dos estudos (FIGURA 05), das 173 crianças que participaram dos experimentos, 23,12% eram crianças com menos de cinco anos e 76,88% das crianças tinham entre cinco e 10 anos de idade. Figura 05 – Porcentagem de participantes de acordo com a faixa etária (esquerda) e informação diagnóstica (direita). Sobre a presença da informação diagnóstica na descrição dos participantes, para 70,52% das crianças não havia essa informação na caracterização. Importante citar que, essa grande quantidade de crianças se deve, principalmente, ao estudo de Silber e Martens (2010), no qual participaram 111 crianças. Nos demais estudos, havia 15,03% 48 de crianças com diagnóstico de autismo6, com ou sem comorbidades; 10,98% participantes com desenvolvimento típico; 4,04% de crianças com atraso de linguagem; e 2,89% participantes com atraso de desenvolvimento. Em relação ao número de exposição ao MEI, ou seja, quantas vezes cada participante foi exposto ao procedimento com um novo conjunto de estímulos, das 173 crianças, 145 foram expostas apenas à um conjunto de estímulos pelo MEI; 25 crianças foram expostas à dois conjuntos; e três participantes foram expostos à três diferentes conjuntos de estímulos. A Figura 06 mostra a porcentagem de participantes de acordo com o diagnóstico e o número de conjuntos de estímulos expostos ao MEI até atingir o critério de aprendizagem proposto. As setas indicam que não houve casos de exposições ao MEI com três conjuntos diferentes de estímulos para aquele diagnóstico em questão. Figura 06 – Porcentagem de participantes de acordo com o diagnóstico e o número de conjuntos de estímulos expostos ao MEI até atingir o critério de aprendizagem proposto. Para todos os diagnósticos descritos, exceto o de autismo, a porcentagem de participantes expostos a apenas um conjunto de estímulos por MEI foi superior às porcentagens de participantes que foram expostos a dois ou três conjuntos diferentes de estímulos ao procedimento. Assim, 92,62% das crianças que não havia informação 6 Foi utilizado o termo autismo ao invés de Transtorno do Espectro Autista, devido ao fato de que a maioria dos estudos selecionados para análise utilizam essa terminologia (ainda que tenha estudos que empreguem o novo termo, como Santos e Souza (2016)). 49 diagnóstica, 80% dos participantes com atraso de desenvolvimento, 73,68% das crianças com desenvolvimento típico, e 71,43% participantes com de atraso de linguagem, foram expostos apenas a um conjunto de estímulos por MEI para atingir o critério de aprendizagem proposto. No caso das crianças com diagnóstico de autismo, 34,61% dos participantes foram expostos apenas a um conjunto por MEI, enquanto que 38,46% das crianças com o mesmo diagnóstico foram expostas a dois conjuntos de estímulos diferentes pelo mesmo procedimento. Para os outros diagnósticos, 26,32% das crianças com desenvolvimento típico, 20% dos participantes com atraso de desenvolvimento, 14,29% participantes com de atraso de linguagem, e 6,56% das crianças que não havia informação diagnóstica, foram expostos ao MEI com dois conjuntos diferentes de estímulos até atingir o critério de aprendizagem proposto. Por fim, 14,29% participantes com de atraso de linguagem, 3,82% dos participantes com diagnóstico de autismo, e 0,82% das crianças que não havia informação diagnóstica, foram expostos ao MEI com três conjuntos de estímulos diferentes. Para participantes com atraso de desenvolvimento e com desenvolvimento típico não houve relato de exposição a três conjuntos de estímulos. 5 DISCUSSÃO O objetivo do presente trabalho foi realizar uma revisão da literatura para sistematizar o uso dos termos Multiple Exemplar Instruction (MEI) e Multiple Exemplar Training (MET). Em especial, dos artigos que usaram o termo MEI, identificar e descrever sob quais arranjos de procedimento tem sido usado e os resultados obtidos. 50 A grande maioria dos estudos selecionados para análise utiliza o termo Multiple Exemplar Training (MET), 52 artigos (de um total de 65 estudos), ao invés de Multiple Exemplar Instruction (MEI), 13 artigos. Sendo que, esse último termo apareceu na revisão pela primeira vez no estudo de Nuzzolo-Gomez e Greer (2004), segundo critérios estabelecidos, enquanto que o primeiro estudo que utilizou MET era de 1989 (HUGHES; RUSCH, 1989), mesmo trabalho identificado na revisão de Holth (2017), mas que foi realizada em outra base de dados (PsycINFO) e com um descritor diferente do da presente revisão (exemplar training). No que diz respeito às definições encontradas nas introduções dos estudos selecionados para análise em relação aos termos MEI e MET, embora a literatura não tenha sido clara, ou seja, as definições apresentavam diferenças sutis, MEI e MET se configuram em estratégias diferentes de ensino. De maneira geral, as definições de MET se aproximam mais do conceito de Stokes e Baer (1977) sobre treino com exemplares suficientes. Referem-se, assim, ao ensino com variação de respostas e ou estímulos para estabelecer repertórios verbais emergentes e para proporcionar a generalização, sem mencionar rotatividade durante o ensino, que é o que aparece em alguns estudos na definição de MEI. Além da questão da rotatividade, os estudos que utilizam o MEI também tendem a definir o procedimento como uma forma de promover controle compartilhado de estímulos ou abstrações, condizente com a definição de Geer e Ross (2008). No primeiro artigo identificado na presente revisão que utilizava o conceito de MEI, Nuzzolo-Gomez e Greer (2004) apontam estudos mais antigos, como o de Hall e Sundberg (1987) e Sigafoos e colaboradores (1989) em que os operantes não treinados emergiram após um ou mais mandos ou tatos terem sido ensinados, sugerindo que talvez essa emergência ou transferência entre as classes de resposta pudesse ser 51 facilitada ao fornecer mais exemplares em cada repertório. Esse dado é importante, pois mostra que a discussão sobre múltiplos exemplares vem se desenvolvendo muito antes do que apareceu nesta revisão para o conceito de MEI. Entre os estudos que foram considerados como não apresentando uma definição dos termos MEI ou MET, alguns artigos apenas trouxeram o termo na introdução, sem desenvolver como o procedimento aconteceria de fato (ex.: GILIC; GREER, 2011); outros estudos não trouxeram nenhuma citação sobre o termo MET ou MEI na introdução (ex.: TAYLOR; O'REILLY, 2000), ainda que tenha citado o termo em outras partes do trabalho, como no resumo e/ou palavras-chave (ex.: GROB; LERMAN; LANGLINAIS; VILLANTE, 2018). Grob e colaboradores (2018), por exemplo, trouxeram o termo MET nas palavras-chave e no método, mas sem apresentar o termo diretamente na introdução. O uso dos descritores pode ter restringido os resultados, futuros trabalhos podem usar multiple exemplar, exemplar training ou outra palavra-chave para incluir mais estudos de intervenção; podem considerar, também, estudos nos quais o procedimento alvo de ensino fosse outro, mas que a forma como o ensino foi estruturado poderia ser considerado como MEI, o que possibilitaria verificar trabalhos mais antigos que possam ter utilizado múltiplos exemplares, mas com outra nomenclatura. Ainda que alguns estudos (GREER; YUAN; GAUTREAUX, 2005; SILBER; MARTENS, 2010) citem que o MEI resulta na generalização e manutenção dos resultados, não foi encontrado nesta revisão estudos que tivessem realizado follow-up. Uma possibilidade é que os estudos estejam indexados em outras bases de dados e, por isso, não foram encontrados neste trabalho; ou não apareceram na presente revisão por causa da escolha dos descritores. Todavia, esse dado mostra a necessidade de pesquisas que investiguem a manutenção do que é alvo de intervenção. 52 O fato de que a maioria dos participantes dos estudos foram expostos apenas a um conjunto de estímulos por MEI para atingir os critérios de aprendizagem estabelecidos, permite o questionamento de quantos conjuntos de estímulos são necessários ser expostos ao MEI para que ocorra a generalização para operantes e estímulos não treinados por este procedimento e manutenção dos resultados, em especial em casos de TEA (que foi o diagnóstico que exigiu a exposição a mais conjuntos de estímulos por MEI). Futuras revisões podem verificar com mais precisão se o uso do MEI, principalmente naqueles artigos que expuseram os participantes apenas a um conjunto de estímulos por MEI, tem sido realmente eficaz para todos ou a maioria dos participantes para alcançar os objetivos que os estudos propõem. Além disso, pode-se verificar quantas sessões foram necessárias para cada participante para atingir os critérios de aprendizagem para todos os operantes ensinados, pois a literatura aponta que, em alguns casos, somente após um treino extensivo é que houve e emergência de repertórios verbais não treinados após o MEI, sendo necessário mais estudos para entender melhor a utilidade clínica deste procedimento (GROW; KODAK, 2010). Existem na literatura pesquisas que visam ensinar o repertório de ecoico em conjunto com outros operantes utilizando o MEI (GUERRA, 2015; MERLIN; ALMEIDA-VERDU; NEVES; SILVA; MORET, 2019; PEREIRA; ASSIS; ALMEIDA-VERDU, 2016; RIQUE et al, 2017). Todavia, não foi encontrado nesta revisão estudos que utilizassem o MEI para o ensino direto do ecoico, indicando que essas pesquisas não estão indexadas nas bases de dados pesquisadas. Futuros estudos de revisão podem verificar se o ecoico foi usado como prompt ou se foi ensinado em algum outro momento das pesquisas utilizando outros procedimentos. 53 REFERÊNCIAS  ALBRIGHT, L.; REEVE, K. F.; REEVE, S. A.; et al. Teaching statistical variability with equivalence-based instruction. Journal of Applied Behavior Analysis, v. 48, n. 4, p. 883-894, 2015.  ALBRIGHT, L.; SCHNELL, L.; REEVE, K. F.; et al. Using stimulus equivalence- based instruction to teach graduate students in applied behavior analysis to interpret operant functions of behavior. Journal of Behavioral Education, v. 25, n. 3, p. 290- 309, 2016. ARNTZEN, E.; ALMÅS, I. K. Effects of mand-tact versus tact-only training on the acquisition of tacts. Journal of Applied Behavior Analysis, v. 35, n. 4, p. 419-422, 2002. BAER, D. M.; WOLF, M. M.; RISLEY, T. R. Some current dimensions of applied behavior analysis. Journal of Applied Behavior Analysis, v. 1, n. 1, p. 91-97, 1968.  BALTRUSCHAT, L.; HASSELHORN, M.; TARBOX, J.; et al. The effects of multiple exemplar training on a working memory task involving sequential responding in children with autism. Psychological Record, v. 62, n. 3, p. 549-561, 2012.  BERENS, N. M.; HAYES, S. C. Arbitrarily applicable comparative relations: Experimental evidence for a relational operant. Journal of Applied Behavior Analysis, v. 40, n. 1, p. 45-71, 2007.  BORD, S.; SIDENER, T. M.; REEVE, K. F.; SIDENER, D. W. Teaching on-task rollerblading and ice-skating to a child with autism. Behavior Analysis Practice, v. 10, p. 178–182, 2017. DOI 10.1007/s40617-016-0150-z. BRASIL (2012). Diretrizes metodológicas: Elaboração de revisão sistemática e metanálise de ensaios clínicos randomizados/ Ministério da Saúde, Secretaria de Ciência, Tecnologia e Insumos Estratégicos, Departamento de Ciência e Tecnologia. – Brasília: Editora do Ministério da Saúde. Recuperado em 03 de Maio, 2017, de .  BROWN, F. J.; PEACE, N.; PARSONS, R. Teaching children generalized imitation skills: A case report. Journal Intellectual Disabilities, v. 13, n. 1, p. 9-17, 2009. DOI: 10.1177/1744629509103514.  BYRNE, B. L.; REHFELDT, R. A.; AGUIRRE, A. A. Evaluating the effectiveness of the stimulus pairing observation procedure and multiple exemplar instruction on tact and listener responses in children with autism. Analysis of Verbal Behavior, v. 30, n. 2, p. 160-169, 2014. DOI: 10.1007/s40616-014-0020-0.  CARR, D. Effects of exemplar training in exclusion responding on auditory-visual discrimination tasks with children with autism. Journal of Applied Behavior Analysis, v. 36, n. 4, p. 507-524, 2003. 54  CASSIDY, S.; ROCHE, B.; HAYES, S. C. A relational frame training intervention to raise intelligence quotients: A pilot study. Psychological Record, v. 61, n. 2, p. 173- 198, 2011. CERON, M. I.; KESKE-SOARES, M. Terapia fonológica: A generalização para outra posição na palavra. CEFAC, v. 11, n. 2, p. 199-206, 2009.  CULLINAN, V. A.; BARNES-HOLMES, D.; SMEETS, P. M. A precursor to the relational evaluation procedure: Searching for the contextual cues that control equivalence responding. Journal of the Experimental Analysis of Behavior, v. 76, n. 3, p. 339-349, 2001.  CORTES, A. I. R.; COBOS, F. J. M.; TARBOX, J. Teaching children to create metaphorical expressions. Journal of Psychology and Psychological Therapy, v. 18, n. 1, p. 27-38, 2018.  DASS, T. K.; KISAMORE, A. N.; VLADESCU, J. C.; et al. Teaching children with autism spectrum disorder to tact olfactory stimuli. Journal of Applied Behavior Analysis, v. 51, n. 3, p. 538-552, 2018.  DAY-WATKINS, J.; MURRAY, R.; CONNELL, J. E. Teaching helping to adolescents with autism. Journal of Applied Behavior Analysis, v. 47, n. 4, p. 850-5, 2014. DOI: 10.1002/jaba.156.  DOS SANTOS, E. L. N.; DE SOUZA, C. B. A. Teaching naming with objects and figures for children with autism. Psicologia: Teoria e Pesquisa, v. 32, n. 3, p. 1-10, 2016. DOI: 10.1590/0102-3772e32329. ESTEVES, R. C.; LUCCHESI, F. D. M.; ALMEIDA-VERDU, A. C. M. Ensino de ecoico, tato e mando: uma revisão bibliográfica dos artigos do journal of applied behavior analysis (JABA). Revista Brasileira de Terapia Comportamental e Cognitiva, v. 16, n. 2, p. 109-124, 2014. FAZZIO, D. F. Intervenção comportamental no autismo e deficiências de desenvolvimento: uma análise dos repertórios propostos em manuais de treinamento. Dissertação (Mestrado em Psicologia Experimental: Análise do Comportamento) - PUC, SP, 2002.  FIELDS, L.; MATNEJA, P.; VARELAS, A.; et al. The formation of linked perceptual classes. Journal of the Experimental Analysis of Behavior, v. 78, n. 3, p. 271-290, 2002.  FIORILE, C. A.; GREER, R. D. The induction of naming in children with no prior tact responses as a function of multiple exemplar histories of instruction. Analysis of Verbal Behavior, v. 23, p. 71-87, 2007. FRAGALE, C. L.; O’REILLY, M. F.; AGUILAR, J.; PIERCE, N.; LANG, R.; SIGAFOOS, J.; LANCIONI, G. The influence of motivating operations on 55 generalization probes of specific mands by children with autismo. Journal of Applied Behavior Analysis, v. 45, n. 3, p. 565-577, 2012. GALVÃO, T. F.; PANSANI, T. S. A. Principais itens para relatar revisões sistemáticas e meta-análises: A recomendação PRISMA. Epidemiologia e Serviços de Saúde, v. 24, n. 2, p. 335-342, 2015. DOI: 10.5123/S1679-49742015000200017.  GARCIA, A. G.; GONZALEZ, A. V.; LEFKOWITZ, J. G. The influence of the parents' educational level and participants' age in the derivation of equivalence- equivalence. Psicothema, v. 26, n. 3, p. 314-320, 2014.  GARCIA-ALBEA, E.; REEVE, S. A.; REEVE, K. F.; et al. Using audio script fading and multiple-exemplar training to increase vocal interactions in children with autism. Journal of Applied Behavior Analysis, v. 47, n. 2, p. 325-343, 2014.  GILIC, L.; GREER, R. D. Establishing naming in typically developing two-year-old children as a function of multiple exemplar speaker and listener experiences. Analysis of Verbal Behavior, v. 27, n. 1, p. 157-77, 2011.  GOULD, E.; TARBOX, J.; O'HORA, D.; et al. Teaching children with autism a basic component skill of perspective-taking. Behavioral Interventions, v. 26, n. 1, p. 50- 66, 2011.  GREER, R. D.; DU, L. Experience and the onset of the capability to learn names incidentally by exclusion. Psychological Record, v. 65, n. 2, p. 355-373, 2015. GREER, R. D.; ROSS, D. E. Verbal Behavior Analysis: Inducing and expanding new verbal capabilities in children with language delays. Boston: Pearson, 2008.  GREER, R. D.; STOLFI, L.; CHAVEZ-BROWN, M.; RIVERA-VALDES, C. The emergence of the listener to speaker component of naming in children as a function of multiple exemplar instruction. Analysis of Verbal Behavior, v. 21, p. 123-34, 2005.  GREER, R. D.; YAUN, L.; GAUTREAUX, G. Novel dictation and intraverbal responses as a function of a multiple exemplar instructional history. Analysis of Verbal Behavior, v. 21, p. 99-116, 2005.  GREER, R. D.; YUAN, L. How kids learn to say the darnedest things: The effect of multiple exemplar instruction on the emergence of novel verb usage. Analysis of Verbal Behavior, v. 24, p. 103-210, 2008.  GROB, C. M.; LERMAN, D. C.; LANGLINAIS, C. A.; VILLANTE, N. K. Assessing and teaching job-related social skills to adults with autism spectrum disorder. Journal of Applied Behavior Analysis, v. 9999, p. 1-23, 2018. GROW, L. L.; KODAK, T. Recent research on emergent verbal behavior: Clinical applications and future directions. Journal of Applied Behavior Analysis, v. 43, n. 4, p. 775-778, 2010. 56 GUERRA, B. T. Ensino de operantes verbais e requisitos para ensino por tentativas discretas em crianças com transtorno do espectro autista (TEA). Dissertação (Mestrado em Psicologia do Desenvolvimento e Aprendizagem) - Faculdade de Ciências, UNESP, Bauru, SP, 2015. GUERRA, B. T.; ALMEIDA-VERDU, A. C. M. Ensino de operantes verbais em pessoas com transtorno do espectro autista no the analysis of verbal behavior: Revisão sistemática. Revista Brasileira de Terapia Comportamental e Cognitiva, v. 18, n. 2, p. 73-85, 2016. HALL, G. A.; SUNDBERG, M. L. Teaching mands by manipulating conditioned establishing operations. The Analysis of Verbal Behavior, v. 5, p. 41-53, 1987.  HIER, B. O.; ECKERT, T. L. Programming generality into a performance feedback writing intervention: A randomized controlled trial. Journal of School Psychology, v. 56, p. 111-131, 2016. HOLTH, P. Multiple exemplar training: Some strengths and limitations. Behavior Analyst, 40, p. 225–241, 2017. DOI 10.1007/s40614-017-0083-z.  HUGHES, C.; HARMER, M. L.; KILLIAN, D. J.; et al. The effects of multiple- exemplar self-instructional training on high-school-students generalized conversational interactions. Journal of Applied Behavior Analysis, v. 28, n. 2, p. 201-218, 1995.  HUGHES, C.; RUSCH, F. R. Teaching supported employees with severe mental retardation to solve problems. Journal of Applied Behavior Analysis, v. 22, n. 4, p. 365-72, 1989. HULL, C. L. Quantitative aspects of evolution of concepts: An experimental study. Psychological Monographs, v. 28, p. i–86, 1920. DOI:10.1037/h0093130. JESUS, J. C.; OLIVEIRA, T. P.; REZENDE, J. V. Generalização de mandos aprendidos pelo PECS (picture exchange communication system) em crianças com transtorno do espectro autista. Temas em Psicologia, v. 25, n. 2, p. 531-543, 2017. DOI: 10.9788/TP2017.2-07.  JIMENEZ, B. A., BROWDER, D. M., COURTADE, G. R. An exploratory study of self-directed science concept learning by students with moderate intellectual disabilities. Research and Practice for Persons with Severe Disabilities, 34 (2), p. 33-46, 2009.  LECHAGO, S. A.; CARR, J. E.; KISAMORE, A. N.; et al. The effects of multiple exemplar instruction on the relation between listener and intraverbal categorization repertoires. Analysis of Verbal Behavior, v. 31, n. 1, p. 76-95, 2015. LOVAAS, O. I. Teaching developmentally disabled children: The me book. Baltimore: University Park Press, 1981. 57  LUCIANO, C.; BARNES-HOLMES, Y.; BARNES-HOLMES, D. Establishing reports of saying and doing and discriminations of say-do relations. Research in Developmental Disabilities, v. 23, n. 6, p. 406-421, 2002.  LUCIANO, C.; BECERRA, I. G.; VALVERDE, M. R. The role of multiple-exemplar training and naming in establishing derived equivalence in an infant. Journal of the Experimental Analysis of Behavior, v. 87, n. 3, p. 349-365, 2007.  LUKE, N.; GREER, R. D.; SINGER-DUDEK, J.; KEOHANE, D. D. The emergence of autoclitic frames in atypically and typically developing children as a function of multiple exemplar instruction. Analysis of Verbal Behavior, v. 27, n. 1, p. 141-56, 2011.  MARZULLO-KERTH, D.; REEVE, S. A.; REEVE, K. F.; et al. Using multiple- exemplar training to teach a generalized repertoire of sharing to children with autism. Journal of Applied Behavior Analysis, v. 44, n. 2, p. 279-294, 2011.  MAY, M. E.; SHAYTER, A. M.; SCHMICK, A.; et al. Teaching preschool children to report suspicious packages to adults. Journal of Applied Behavior Analysis, v. 51, n. 3, p. 571-589, 2018.  MEINDL, J. N.; IVY, J. W.; MILLER, N.; NEEF, N. A.; Williamson, R. L. An examination of stimulus control in fluency-based strategies: SAFMEDS and generalization. Journal of Behavioral Education, v. 22, n. 3, p. 229-252, 2013. DOI: 10.1007/s10864-013-9172-6. MERLIN, A. M. B.; ALMEIDA-VERDU, A. C. M.; NEVES, A. J.; SILVA, L. T. N.; MORET, A. L. M. Ensino por múltiplos exemplares e integração de comportamentos de ouvinte e falante com unidades sintáticas substantivo-adjetivo em crianças com DENA e IC. Codas, v. 31, n. 3, p. 1-11, 2019.  MINAROVIC, T. J.; BAMBARA, L. M. Teaching employees with intellectual disabilities to manage changing work routines using varied sight-word checklists. Research and Practice for Persons with Severe Disabilities, v. 32, n. 1, p. 31-42, 2007.  MURPHY, C.; BARNES-HOLMES, D. Establishing five derived mands in three adolescent boys with autism. Journal of Applied Behavior Analysis, v. 43, n. 3, p. 537-541, 2010.  NAJDOWSKI, A. C.; BERGSTROM, R.; TARBOX, J.; CLAIR, M. S. Teaching children with autism to respond to disguised mands. Journal of Applied Behavior Analysis, 2017. DOI: 10.1002/jaba.413.  NAJDOWSKI, A. C.; ST CLAIR, M.; FULLEN, J. A.; CHILD, A.; PERSICKE, A.; TARBOX, J. Teaching children with autism to identify and respond appropriately to the preferences of others during play. Journal of Applied Behavior Analysis, v. 9999, p. 1-9, 2018. 58  NUZZOLO-GOMEZ, R.; GREER, R. D. Emergence of untaught mands or tacts of novel adjective-object pairs as a function of instructional history. Analysis of Verbal Behavior, v. 20, p. 63-76, 2004.  O'CONNOR, J.; BARNES-HOLMES, Y.; BARNES-HOLMES, D. Establishing contextual control over symmetry and asymmetry performances in typically developing children and children with autism. Psychological Record, v. 61, n. 2, p. 287-311, 2011.  PARRA, I.; RUIZ, F. J. The effect on intelligence quotient of training fluency in relational frames of coordination. International Journal of Psychology and Psychological Therapy, v. 16, n. 1, p. 1-12, 2016. PEREIRA, F. D.; ASSIS, G. J. A.; ALMEIDA-VERDU, A. C. M. Integração dos repertórios de falante-ouvinte via instrução com exemplares múltiplos em crianças implantadas cocleares. Revista Brasileira de Análise do Comportamento, v. 12, n. 1, p. 23-32, 2016.  PEREZ, W. F.; KOVAC, R.; NICO, Y. C.; et al. The transfer of C-rel contextual control (same, opposite, less than, more than) through equivalence relations. Journal of The Experimental Analysis of Behavior, v. 108, n. 3, p. 318-334, 2017.  PERSICKE, A.; TARBOX, J.; RANICK, J.; et al. Establishing metaphorical reasoning in children with autism. Research in Autism Spectrum Disorders, v. 6, n. 2, p. 913- 920, 2012.  PERSICKE, A.; TARBOX, J.; RANICK, J.; et al. Teaching children with autism to detect and respond to sarcasm. Research in Autism Spectrum Disorders, v. 7, n. 1, p. 193-198, 2013.  RANICK, J.; PERSICKE, A.; TARBOX, J.; et al. Teaching children with autism to detect and respond to deceptive statements. Research in Autism Spectrum Disorders, v. 7, n. 4, p. 503-508, 2013.  REEVE, S. A.; REEVE, K. F.; TOWNSEND, D. B.; et al. Establishing a generalized repertoire of helping behavior in children with autism. Journal of Applied Behavior Analysis, v. 40, n. 1, p. 123-136, 2007. RIQUE, L. D.; GUERRA, B. T.; BORELLI, L. M.; OLIVEIRA, A. P.; ALMEIDA- VERDU, A. C. M. Ensino de comportamento verbal por múltiplos exemplares em uma criança com distúrbio do espectro da neuropatia auditiva. CEFAC, v. 19, n. 2, p. 289- 298, 2017.  ROCHE, B.; LINEHAN, C.; WARD, T.; DYMOND, S.; REHFELDT, R. A. The unfolding of the relational operant: A real-time analysis using electroencephalography and reaction time measures. International Journal of Psychology and Psychological Therapy, v. 4, n. 3, p. 587-603, 2004. 59  ROSALES, R.; REHFELDT, R. A.; HUFFMAN, N. Examining the utility of the stimulus pairing observation procedure with preschool children learning a second language. Journal of Applied Behavior Analysis, v. 45, n. 1, p. 173-177, 2012.  ROSALES, R.; REHFELDT, R. A.; LOVETT, S. Effects of multiple exemplar training on the emergence of derived relations in preschool children learning a second language. Analysis of Verbal Behavior, v. 27, n. 1, p. 61-74, 2011.  RUIZ, F. J.; PERETE, L. Application of a relational frame theory account of psychological flexibility in young children. Psicothema, v. 27, n. 2, p. 114-119, 2015.  SCHNELL, L. K.; VLADESCU, J.C.; KODAK, T.; NOTTINGHAM, C. L. Comparing procedures on the acquisition and generalization of tacts for children with autism spectrum disorder. Journal of Applied Behavior Analysis, v. 9999, 1-15, 2018.  SILBER, J. M.; MARTENS, B. K. Programming for the generalization of oral reading fluency: Repeated readings of entire text versus multiple exemplars. Journal of Behavioral Education, v. 19, n. 1, p. 30-46, 2010. DOI: 10.1007/s10864-010-9099-0.  SILVA, F. T. N.; DE SOUZA, C. B. A. Repeated shifts of simple discrimination: Learning in infants. Psicologia: Teoria e Pesquisa, v. 25, n. 4, p. 569-580, 2009. SIGAFOOS, J.; DOSS, S.; REICHLE, J. Developing mand and tact repertoires in persons with severe developmental disabilities using graphic symbols. Research in Developmental Disabilities, 1, 1989.  SIVARAMAN, M. Using multiple exemplar training to teach empathy skills to children with autism. Behavior Analysis in Practice, v. 10, n. 4, p. 337-346, 2017. SKINNER, B. F. Tecnologia de ensino. Editora Herder, São Paulo, 1972.  SPECKMAN, J.; GREER, R. D.; RIVERA-VALDES, C. Multiple exemplar instruction and the emergence of generative production of suffixes as autoclitic frames. Analysis of Verbal Behavior, v. 28, n. 1, p. 83-99, 2012.  SPOONER, F., KEMP-INMAN, A., AHLGRIM-DELZELL, L., WOOD, L., DAVIS, L. L. Generalization of literacy skills through portable technology for students with severe disabilities. Research and Practice for Persons with Severe Disabilities, v. 40, n. 1, p. 52-70, 2015. SPRINKLE, E. C.; MIGUEL, C. F. The effects of listener and speaker training on emergent relations in children with autism. The Analysis of Verbal Behavior, v. 28, p. 111-117, 2012. STOKES, T. F.; BAER, D. M. An implicit technology of generalization. Journal of Applied Behavior Analysis, v. 10, n. 2, p. 349-367, 1977. 60  TARBOX, J.; ZUCKERMAN, C. K.; BISHOP, M. R.; OLIVE, M. L.; O'HORA, D. P. Rule-governed behavior: Teaching a preliminary repertoire of rule-following to children with autism. Analysis of Verbal Behavior, v. 27, n.1, p. 125-39, 2011.  TAYLOR, I.; O'REILLY, M. F. Generalization of supermarket shopping skills for individuals with mild intellectual disabilities using stimulus equivalence training. Psychological Record, v. 50, n. 1, p. 49-62, 2000.  THIRUS, J.; STARBRINK, M.; JANSSON, B. Relational frame theory, mathematical and logical skills: A multiple exemplar training intervention to enhance intellectual performance. International Journal of Psychology and Psychological Therapy, v. 16, n. 2, p. 141-155, 2016. THORNDIKE, E. L. Animal intelligence: experimental studies. New Brunswick: Transaction Publishers, 1911/2000.  TUCKER, M.; GAMBA, J.; WALKER, D. J. The effects of single-versus multiple- exemplar training on vocal identification of artists' styles. Journal of Behavioral Education, v. 25, n. 2, p. 189-205, 2016.  VARELAS, A.; FIELDS, L. Induction of a generalized tr