Luiz Felipe de Camargo Estratégia de Uso de Inteligência Artificial Explicável no Apoio à Reabilitação Neuromotora Bauru, São Paulo, Brasil 26 de agosto de 2024 Luiz Felipe de Camargo Estratégia de Uso de Inteligência Artificial Explicável no Apoio à Reabilitação Neuromotora Tese para defesa de Doutorado sobre o Uso de Inteligência Artificial Explicável (XAI) no Apoio à Reabilitação Neuromotora Universidade Estadual Paulista "Júlio de Mesquita Filho" Faculdade de Ciências Programa de Pós-Graduação em Ciência da Computação Orientador: Dr. José Remo Ferreira Brega Bauru, São Paulo, Brasil 26 de agosto de 2024 Este trabalho é dedicado à minha família e meus amigos, os meus maiores pontos de apoio, desde sempre. C172e Camargo, Luiz Felipe de Estratégia de Uso de Inteligência Artificial Explicável no Apoio à Reabilitação Neuromotora / Luiz Felipe de Camargo. -- Bauru, 2024 133 p. : il., tabs., fotos Tese (doutorado) - Universidade Estadual Paulista (UNESP), Faculdade de Ciências, Bauru Orientador: José Remo Ferreira Brega 1. Inteligência Artificial. 2. Inteligência Artificial Explicável. 3. Uso. 4. Classificação de Movimentos. 5. Reabilitação Neuromotora. I. Título. Sistema de geração automática de fichas catalográficas da Unesp. Biblioteca da Universidade Estadual Paulista (UNESP), Faculdade de Ciências, Bauru. Dados fornecidos pelo autor(a). Essa ficha não pode ser modificada. UNIVERSIDADE ESTADUAL PAULISTA Câmpus de Bauru ATA DA DEFESA PÚBLICA DA TESE DE DOUTORADO DE LUIZ FELIPE DE CAMARGO, DISCENTE DO PROGRAMA DE PÓS-GRADUAÇÃO EM CIÊNCIA DA COMPUTAÇÃO, DA FACULDADE DE CIÊNCIAS - CÂMPUS DE BAURU. Aos 09 dias do mês de agosto do ano de 2024, às 14:00 horas, por meio de Videoconferência, realizou-se a defesa de TESE DE DOUTORADO de LUIZ FELIPE DE CAMARGO, intitulada Estratégia de Uso de Inteligência Artificial Explicável no Apoio a Reabilitação Neuromotora. A Comissão Examinadora foi constituida pelos seguintes membros: Prof. Dr. JOSE REMO FERREIRA BREGA (Orientador(a) - Participação Virtual) do(a) Departamento de Computação / UNESPCâmpus de Bauru, Prof. Dr. DANIEL CARLOS GUIMARÃES PEDRONETTE (Participação Virtual) do(a) IGCE / UNESP / Rio Claro (SP), Prof. Dr. KELTON AUGUSTO PONTARA DA COSTA (Participação Virtual) do(a) Departamento de Computação / UNESPCâmpus de Bauru, Prof. Dr. EDGARD AFONSO LAMOUNIER JUNIOR (Participação Virtual) do(a) Universidade Federal de Uberlândia, Prof. Dr. MARCELO DE PAIVA GUIMARÃES (Participação Virtual) do(a) Departamento de Realidade Virtual / Universidade Federal de São Paulo. Após a exposição pelo doutorando e arguição pelos membros da Comissão Examinadora que participaram do ato, de forma presencial e/ou virtual, o discente recebeu o conceito final: Aprovado . Nada mais havendo, foi lavrada a presente ata, que após lida e aprovada, foi assinada pelo(a) Presidente(a) da Comissão Examinadora. Prof. Dr. JOSE REMO FERREIRA BREGA Faculdade de Ciências - Câmpus de Bauru - Eng. Luiz Edmundo Carrijo Coube, 14-01, 17033360, Bauru - São Paulo http://www.ibilce.unesp.br/#!/pos-graduacao/programas-de-pos-graduacao/ciencia-da-computacao/CNPJ: 48.031.918/0028-44. Agradecimentos Expresso aqui meus agradecimentos ao meu orientador Prof. José Remo Ferreira Brega, pelas produtivas conversas, sempre repletas de conselhos, ideias e de amizade, agra- deço ao Luis Guilherme Silva Rodrigues, pela dedicação, pelas sugestões sempre certeiras e por todo auxílio, agradeço à equipe da DTI-FMB onde presto serviço, pela paciência, pelos conselhos e sugestões que agregaram bastante qualidade a este trabalho, agradeço aos colegas de doutorado, pelo compartilhamento de conhecimento, pela colaboração e pelo crescimento conjunto, agradeço aos professores do programa e do Departamento de Computação da Faculdade de Ciências em Bauru por toda a colaboração na minha forma- ção. Agradeço a todos os colegas do grupo de pesquisa em classificação de movimentos, professores e alunos, que durante todo o processo sempre compartilharam boas opiniões, agradeço a todos os colegas do Laboratório de Interface e Visualização (LIV), orientados do Prof. Remo, que me ajudaram a entender cada vez mais o processo de desenvolvimento de um trabalho científico na área de Ciência da Computação. Agradeço a minha família e demais amigos por serem sempre meu suporte. E, por fim, acima de tudo, agradeço a Deus, em especial pelo dom da minha vida e por nunca me abandonar. "Era preciso que o senhor naufragasse nos próprios fracassos para aceitar o colete salva-vidas que ele lhe lançou.- Eugen Herrigel, A Arte Cavalheiresca do Arqueiro Zen Resumo Cada vez mais soluções baseadas em Inteligência Artificial são utilizadas para resolver problemas em diversos domínios. Entretanto, muitas pessoas demonstram não se sentirem a vontade com esse tipo de solução por não compreender seu funcionamento. Diante disso surge a chamada Inteligência Artificial Explicável (XAI), buscando além de fornecer as respostas produzidas pela Inteligência Artificial, oferecer também aspectos de explicabili- dade, detalhando o processo de decisão e gerando confiança. A área de saúde é promissora para aplicação de Inteligência Artificial Explicável, apresentando a possibilidade de uso na reabilitação de pacientes que sofre de acidente vascular cerebral e outras doenças que afe- tam as capacidades neuromotoras. Nesse contexto é apresentada uma revisão de literatura sobre o uso de Inteligência Artificial Explicável na Reabilitação Neuromotora, um breve estudo comparativo entre as bibliotecas mais populares para esse uso e um aprofundamento na temática de avaliação de explicabilidade e do processo de compreensão. A partir dos resultados obtidos, foi construída uma estratégia de uso de XAI para apoio à reabilitação neuromotora, com foco na classificação de movimentos. Como parte da estratégia de uso foi desenvolvida a ferramenta MoveXAI, que integra a visualização do movimento executado em um avatar com as informações de explicabilidade. A ferramenta se encontra em testes e tem demonstrado resultados relevantes segundo feedback de colaborador pesquisador da área de reabilitação. Palavras-chave: Inteligência Artificial. Inteligência Artificial Explicável. Uso. Classificação de Movimentos. Reabilitação Neuromotora. Abstract More and more solutions based on Artificial Intelligence are being used to solve problems in various fields. However, many people feel uncomfortable with this type of solution because they do not understand how it works. As a result, the so-called Explainable Artificial Intelligence (XAI) has emerged, seeking not only to provide the answers produced by Artificial Intelligence, but also to offer aspects of explainability, detailing the decision- making process and generating trust. The area of health is promising for the application of Explainable Artificial Intelligence, with the possibility of using it in the rehabilitation of patients suffering from strokes and other diseases that affect neuromotor abilities. In this context, a literature review is presented on the use of Explainable Artificial Intelligence in Neuromotor Rehabilitation, a brief comparative study between the most popular libraries for this use and an in-depth look at the topic of evaluating explainability and the comprehension process. Based on the results obtained, a strategy was built for using XAI to support neuromotor rehabilitation, with a focus on classifying movements. As part of the use strategy, the MoveXAI tool was developed, which integrates the visualization of the movement performed on an avatar with the explainability information. The tool is currently being tested and has shown relevant results, according to feedback from a researcher in the rehabilitation area. Keywords: Artificial Intelligence. Explainable Artificial Intelligence. Usage. Movement Classification. Neuromotor Rehabilitation. Lista de ilustrações Figura 1 – Os cenários com a IA tradicional e XAI conforme definição da DARPA. 21 Figura 2 – Quadrinho tratando a temática de IA de forma bem humorada, com foco na falta de compreensão dos mecanismos de IA. . . . . . . . . . . 23 Figura 3 – Diagrama mostrando as vertentes de interpretabilidade de acordo com diferentes públicos. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32 Figura 4 – Diagrama mostrando as principais abordagens de XAI. . . . . . . . . . 35 Figura 5 – Diagrama mostrando a criação do conceito de IA Responsável através de diversos aspectos. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36 Figura 6 – Diagrama mostrando as etapas da revisão sistemática de literatura. . . 45 Figura 7 – Gráfico mostrando a evolução da quantidade de estudos durante os anos. 46 Figura 8 – Diagrama demonstrando o fluxo de dados para realização de uma explicação através da biblioteca LIME. . . . . . . . . . . . . . . . . . . 56 Figura 9 – Biblioteca de XAI LIME sendo utilizada para explicar classificação de texto nas classes "ateísmo"ou "cristianismo". Palavras destacadas em azul colaboram com a classificação como "ateísmo", palavras destacadas em laranja colaboram com a classificação como "cristianismo". . . . . . 56 Figura 10 – Biblioteca de XAI LIME sendo utilizada para explicar classificação de imagem de gato, indicando áreas que colaboraram positiva (área verde) e negativamente (área vermelha) para classificação. . . . . . . . . . . . 57 Figura 11 – Biblioteca de XAI SHAP sendo utilizada para explicar classificação da opinião sobre um filme como positiva ou negativa, indicando trechos que colaboraram positiva (cor rosa) e negativamente (cor azul) para classificação. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 58 Figura 12 – Diagrama demonstrando o fluxo de dados para realização de uma explicação através da biblioteca SHAP. . . . . . . . . . . . . . . . . . . 59 Figura 13 – Exemplo de uso da biblioteca ELI5, indicando a área mais relevante para a classificação através de um mapa de calor sobreposto a imagem original. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60 Figura 14 – Exemplo de uso da biblioteca AI Explainability 360, gerando uma explicação textual, obtido executando a demostração da ferramenta disponível na página do projeto. . . . . . . . . . . . . . . . . . . . . . . 61 Figura 15 – Exemplo de uso da biblioteca Skater, indicando as áreas da imagem que levaram a classificação da imagem como "panda". . . . . . . . . . . 62 Figura 16 – Exemplo de uso da biblioteca Captum, com 2 exemplos, indicando a classificação das imagens como "gato"e "navio", após o devido tratamento das imagens. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 63 Figura 17 – Exemplo de uso da biblioteca TruLens, aplicando uma máscara sobre a imagem original, indicando as áreas mais relevantes para a classificação através de janelas nessa máscara. . . . . . . . . . . . . . . . . . . . . . 64 Figura 18 – Exemplo de uso da biblioteca VisualDL, demonstrando um dashboard, com informações sobre modelo e seus parâmetros. . . . . . . . . . . . . 64 Figura 19 – Exemplo de uso da ferramenta Netron, exibindo a estrutura da rede neural. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 65 Figura 20 – Exemplo de uso da ferramenta Zetane Viewer, exibindo a estrutura da rede neural através de uma visualização 3D, permitindo a análise de cada camada. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 66 Figura 21 – Resultados dos experimentos realizados no Exemplo 1, utilizando a biblioteca LIME em um modelo de identificação de caracteres. . . . . . 69 Figura 22 – Resultados dos experimentos realizados no Exemplo 2, utilizando a biblioteca LIME em um modelo de identificação de imagens. . . . . . . 70 Figura 23 – Resultados dos experimentos realizados no Exemplo 3, utilizando a biblioteca SHAP em um modelo de identificação de caracteres. . . . . . 71 Figura 24 – Resultados dos experimentos realizados no Exemplo 4, utilizando a biblioteca SHAP em um modelo de previsão que utiliza dados tabulares. 72 Figura 25 – Diagrama mostrando um modelo conceitual do processo de explicação, no contexto do XAI. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 75 Figura 26 – Exemplo de teste do modelo de estimativa de pose em 3D, com a exibição de um avatar executando os movimentos detectados. . . . . . 80 Figura 27 – Exemplo de teste do modelo de estimativa de pose em 3D, com a exibição de um avatar executando os movimentos detectados. . . . . . 80 Figura 28 – Exemplo de teste do modelo de avaliação de ângulo, com a exibição de um avatar sobreposto ao vídeo original e a estimativa do ângulo de flexão do tronco. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 81 Figura 29 – Exemplo de teste do modelo de avaliação de ângulo, com a exibição de um avatar sobreposto ao vídeo original e a estimativa do ângulo de flexão do tronco. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 82 Figura 30 – Diagrama mostrando a arquitetura de um dos modelo de rede neural utilizados nos estudos de (RODRIGUES et al., 2021a). . . . . . . . . . 85 Figura 31 – Diagramas mostrando o fluxo de dados para classificação de movimentos com a ferramenta existente e proposta inicial de utilização de XAI. . . 86 Figura 32 – Captura de tela mostrando a aplicação do rastreamento de pose em novo vídeo produzido para o estudo atual. . . . . . . . . . . . . . . . . 87 Figura 33 – Captura de tela mostrando os resultados dos testes executados com a biblioteca LIME, com o impacto de cada articulação em cada eixo e em cada quadro do vídeo para a classificação correta do movimento em uma amostra. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 87 Figura 34 – Captura de tela mostrando a manipulação dos dados obtidos com a biblioteca LIME, agregando os diferentes valores relacionados a mesma articulação. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 88 Figura 35 – Captura de tela mostrando os resultados dos testes executados com a biblioteca SHAP, com o impacto de cada articulação em cada eixo no tempo para a classificação correta do movimento de forma global. . . . 88 Figura 36 – Captura de tela mostrando que ao aplicar a biblioteca LIME no modelo de IA, os dados eram retornados com indicação de frame e não forneciam uma explicação consistente. . . . . . . . . . . . . . . . . . . . . . . . . 91 Figura 37 – Captura de tela mostrando que ao aplicar a biblioteca SHAP no modelo de IA, cada frame era tratado como um elemento a ser explicado, gerando uma visualização sobreposta e confusa. . . . . . . . . . . . . . 91 Figura 38 – Diagrama mostrando a análise de uma amostra considerando recurso, evento e célula no qual se baseia a biblioteca TimeSHAP. . . . . . . . . 92 Figura 39 – Gráficos diversos fornecidos pelo TimeSHAP obtidos executando um exemplo disponível no repositório. . . . . . . . . . . . . . . . . . . . . . 93 Figura 40 – Imagem mostrando um estudo sobre a correlação dos valores das articu- lações, os eixos mostram as articulações, cada célula indica a correlação de dois valores de articulações, quanto mais escura a cor, mais correla- cionados estão os valores. . . . . . . . . . . . . . . . . . . . . . . . . . 94 Figura 41 – Captura de tela mostrando o protótipo de player compatível com dados no formato CSV que já existia. . . . . . . . . . . . . . . . . . . . . . . 95 Figura 42 – Imagem mostrando a captura de tela durante execução de script para atualização da aplicação no contêiner em execução no servidor. . . . . . 96 Figura 43 – Escala de cores escolhida para exibição dos dados de explicabilidade no player, variando as cores nas articulações, onde vermelho indica contribuição positiva e azul negativa. . . . . . . . . . . . . . . . . . . . 96 Figura 44 – Imagem mostrando a execução dos exercícios para produção do conjunto de dados UI-PRMD. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 97 Figura 45 – Captura de tela mostrando a interface inicial do MoveXAI com o campo de seleção de conjunto de dados. . . . . . . . . . . . . . . . . . . . . . 99 Figura 46 – Diagrama mostrando o fluxo de dados da ferramenta MoveXAI. . . . . 100 Figura 47 – Captura de tela mostrando a parte superior da interface após seleção de uma amostra. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 101 Figura 48 – Captura de tela mostrando a parte superior da interface após seleção do modo de upload. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 102 Figura 49 – Captura de tela mostrando a interface do MoveXAI na aba "Player", com a articulação do ombro destacada em vermelho, indicando o im- pacto positivo dela na classificação e a barra indicando a precisão da classificação no frame indicado. . . . . . . . . . . . . . . . . . . . . . . 103 Figura 50 – Captura de tela mostrando a interface do MoveXAI na aba "Linha do Tempo", onde o gráfico de pruning da Biblioteca XAI é utilizado para demonstrar o crescimento da precisão do modelo no decorrer dos frames.104 Figura 51 – Captura de tela mostrando a interface do MoveXAI na aba "Frames", onde o gráfico de eventos da Biblioteca XAI é utilizado para demonstrar o impacto de cada frame na classificação. Os frames são indicado na lateral esquerda, com os valores de Shapley calculados, onde quanto mais intensa a cor, maior o impacto do frame. . . . . . . . . . . . . . . 105 Figura 52 – Captura de tela mostrando a interface do MoveXAI na aba "Articula- ções", onde o gráfico de características da Biblioteca XAI é utilizado para demonstrar o impacto de cada articulação na classificação. As articulações são mostradas na lateral esquerda e os valores de impacto são exibidos através de um gráfico de barras. . . . . . . . . . . . . . . . 106 Figura 53 – Captura de tela mostrando a interface do MoveXAI na aba "Células", onde o gráfico de células da Biblioteca XAI é utilizado para demonstrar o impacto das principais articulações e frames na classificação. É apre- sentada uma matriz com o eixo horizontal mostrando as articulações e o eixo vertical os frames, com a cor variando de acordo com o impacto da célula (articulação/frame) na classificação. . . . . . . . . . . . . . . 107 Figura 54 – Captura de tela mostrando a interface do MoveXAI na aba "Correla- ção", onde um gráfico demonstra a correlação da articulações. Os eixos mostram as articulações, cada célula indica a correlação de dois valores de articulações, quanto mais escura a cor, mais correlacionados estão os valores. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 108 Lista de tabelas Tabela 1 – Público-alvo em XAI . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31 Tabela 2 – Questões que compuseram o formulário de extração. . . . . . . . . . . 43 Tabela 3 – Categorias de objetivos dos estudos. . . . . . . . . . . . . . . . . . . . 46 Tabela 4 – Presença da expressão XAI. . . . . . . . . . . . . . . . . . . . . . . . . 47 Tabela 5 – Uso das bibliotecas. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47 Tabela 6 – Bibliotecas citadas. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48 Tabela 7 – Estudos separados por momento de geração da explicabilidade. . . . . 48 Tabela 8 – Métodos de visualização citados. . . . . . . . . . . . . . . . . . . . . . 49 Tabela 9 – Informações obtidas sobre as ferramentas de XAI analisadas. . . . . . . 67 Tabela 10 – Estudos incluídos na revisão. . . . . . . . . . . . . . . . . . . . . . . . 128 Lista de abreviaturas e siglas AAAI Associação para Avanços da Inteligência Artificial (do inglês, Association for the Advancement of Artificial Intelligence) ACM Association of Computing Machinery ALE Accumulated local effects AVC Acidente Vascular Cerebral CEPID BRAINN Instituto Brasileiro de Neurociências e Neurotecnologia DARPA Agência de Projetos de Pesquisa Avançada de Defesa (do inglês, Defense Advanced Research Projects Agency) EUA Estados Unidos da América GDPR Regulamento Geral de Proteção de Dados (do inglês, General Data Protection Regulation) IA Inteligência Artifical IBM International Business Machines Corporation IEEE Institute of Electrical and Eletronics ISI Institute for Scientific Information LightGBM Light Gradient Boosting Machine LIME Local Interpretable Model-agnostic Explanations MIT Massachusetts Institute of Technology ML Aprendizado de Máquina (do inglês, Machine Learning) ONU Organização das Nações Unidas PFI Permutation Feature Importance ReLU Unidade Linear Retificada (do inglês, Rectified Linear Unit) RFI Random forest feature importance RSL Revisão Sistemática da Literatura SGD Gradiente Descendente Estocástico (do inglês, Stochastic Gradient Des- cent) SHAP SHapley Additive exPlanations UI-PRMD University of Idaho – Physical Rehabilitation Movement Dataset XAI Inteligência Artificial Explicável (do inglês, Explainable Artificial Intel- ligence) Sumário 1 INTRODUÇÃO . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20 1.1 Inteligência Artificial e explicabilidade . . . . . . . . . . . . . . . . . . 20 1.2 Justificativas . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23 1.3 Hipótese . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24 1.4 Objetivos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25 1.5 Considerações finais do capítulo . . . . . . . . . . . . . . . . . . . . . 26 1.6 Estrutura da tese . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26 2 FUNDAMENTAÇÃO TEÓRICA . . . . . . . . . . . . . . . . . . . . 27 2.1 Considerações iniciais do capítulo . . . . . . . . . . . . . . . . . . . . 27 2.2 Inteligência Artificial . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27 2.3 Inteligência Artificial Explicável . . . . . . . . . . . . . . . . . . . . . 28 2.3.1 Abordagens conceituais . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29 2.3.2 Termos e definições . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30 2.3.3 Público alvo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31 2.3.4 Métricas . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33 2.3.5 Necessidade de explicações . . . . . . . . . . . . . . . . . . . . . . . . . . 33 2.3.6 Abordagens de Inteligência Artificial Explicável . . . . . . . . . . . . . . . 34 2.4 IA e XAI em saúde . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36 2.5 Acidente Vascular Cerebral e Reabilitação . . . . . . . . . . . . . . . 37 2.6 Considerações finais do capítulo . . . . . . . . . . . . . . . . . . . . . 38 3 REVISÃO SISTEMÁTICA DE LITERATURA . . . . . . . . . . . . . 39 3.1 Considerações iniciais do capítulo . . . . . . . . . . . . . . . . . . . . 39 3.2 Metodologia . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39 3.2.1 Classificação dos estudos . . . . . . . . . . . . . . . . . . . . . . . . . . . 39 3.2.2 Objetivos da revisão . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40 3.2.3 Questões de pesquisa . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40 3.3 Desenvolvimento do protocolo . . . . . . . . . . . . . . . . . . . . . . 40 3.3.1 Estratégia de busca e bases de dados . . . . . . . . . . . . . . . . . . . . 40 3.3.2 Critérios de inclusão e exclusão . . . . . . . . . . . . . . . . . . . . . . . . 41 3.3.3 Extração de dados . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42 3.3.4 Ferramenta Parsifal . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43 3.4 Resultados . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44 3.4.1 Condução . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44 3.4.2 Estudos excluídos e incluídos . . . . . . . . . . . . . . . . . . . . . . . . . 45 3.4.3 Anos dos estudos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45 3.4.4 Objetivos dos estudos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46 3.4.5 Uso da expressão XAI . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47 3.4.6 Bibliotecas de apoio . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47 3.4.7 Momento de geração da explicação . . . . . . . . . . . . . . . . . . . . . 48 3.4.8 Fontes de dados . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48 3.4.9 Visualização da informação . . . . . . . . . . . . . . . . . . . . . . . . . . 49 3.4.10 Avaliação ou validação com usuários . . . . . . . . . . . . . . . . . . . . . 49 3.4.11 Estudos secundários . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49 3.5 Discussão . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50 3.5.1 Tendências . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50 3.5.2 Descrição dos estudos . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51 3.5.3 Relevância do estudo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52 3.5.4 Limitações do estudo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52 3.6 Considerações finais do capítulo . . . . . . . . . . . . . . . . . . . . . 53 4 FERRAMENTAS DE INTELIGÊNCIA ARTIFICIAL EXPLICÁVEL . 54 4.1 Considerações iniciais do capítulo . . . . . . . . . . . . . . . . . . . . 54 4.2 Frameworks, bibliotecas e métodos . . . . . . . . . . . . . . . . . . . 54 4.3 LIME . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54 4.4 SHAP . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57 4.5 Outras ferramentas . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59 4.5.1 ELI5 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59 4.5.2 AI Explainability 360 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60 4.5.3 Skater . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61 4.5.4 Captum . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 62 4.5.5 TruLens . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 63 4.5.6 VisualDL . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64 4.5.7 Netron . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 65 4.5.8 Zetane Viewer . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 65 4.6 Comparativo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 66 4.7 Exemplos de uso . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 68 4.7.1 Exemplo 1 - LIME . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 68 4.7.2 Exemplo 2 - LIME . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 69 4.7.3 Exemplo 3 - SHAP . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 70 4.7.4 Exemplo 4 - SHAP . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71 4.7.5 Considerações finais do capítulo . . . . . . . . . . . . . . . . . . . . . . . 73 5 AVALIAÇÃO DE MÉTODOS DE INTELIGÊNCIA ARTIFICIAL EX- PLICÁVEL . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 74 5.1 Considerações iniciais do capítulo . . . . . . . . . . . . . . . . . . . . 74 5.2 O processo de entendimento . . . . . . . . . . . . . . . . . . . . . . . 74 5.3 A curiosidade . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 76 5.4 Medidas de avaliação de Inteligência Artificial Explicável . . . . . . 76 5.4.1 Modelo mental . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 76 5.4.2 Explicação de utilidade e satisfação . . . . . . . . . . . . . . . . . . . . . 76 5.4.3 Confiança e confiabilidade do usuário . . . . . . . . . . . . . . . . . . . . 77 5.4.4 Desempenho de tarefa Humano-Inteligência Artificial . . . . . . . . . . . . 77 5.4.5 Medidas computacionais . . . . . . . . . . . . . . . . . . . . . . . . . . . 77 5.5 Como avaliar . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 77 5.6 Considerações finais do capítulo . . . . . . . . . . . . . . . . . . . . . 78 6 ESTRATÉGIA DE USO . . . . . . . . . . . . . . . . . . . . . . . . . 79 6.1 Considerações iniciais do capítulo . . . . . . . . . . . . . . . . . . . . 79 6.2 Estudos preliminares . . . . . . . . . . . . . . . . . . . . . . . . . . . . 79 6.3 Cenário . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 82 6.4 Classificação de movimentos com IA . . . . . . . . . . . . . . . . . . 83 6.5 Estratégia . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 85 6.6 Considerações finais do capítulo . . . . . . . . . . . . . . . . . . . . . 89 7 DESENVOLVIMENTO . . . . . . . . . . . . . . . . . . . . . . . . . 90 7.1 Considerações iniciais do capítulo . . . . . . . . . . . . . . . . . . . . 90 7.2 Soluções inadequadas . . . . . . . . . . . . . . . . . . . . . . . . . . . 90 7.3 TimeSHAP . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 92 7.4 Interface . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 94 7.5 Conjunto de dados UI-PRMD . . . . . . . . . . . . . . . . . . . . . . 97 7.6 Pesquisador da área de reabilitação . . . . . . . . . . . . . . . . . . . 98 7.7 Considerações finais do capítulo . . . . . . . . . . . . . . . . . . . . . 99 8 RESULTADOS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 100 8.1 Considerações iniciais do capítulo . . . . . . . . . . . . . . . . . . . . 100 8.2 A ferramenta . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 101 8.3 Infraestrutura computacional . . . . . . . . . . . . . . . . . . . . . . . 109 8.4 A área de explicabilidade . . . . . . . . . . . . . . . . . . . . . . . . . 109 8.5 Considerações finais do capítulo . . . . . . . . . . . . . . . . . . . . . 110 9 CONCLUSÃO . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 111 9.1 Considerações iniciais do capítulo . . . . . . . . . . . . . . . . . . . . 111 9.2 Relevância . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 111 9.3 Limitações . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 112 9.4 Trabalhos futuros . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 112 9.5 Considerações finais . . . . . . . . . . . . . . . . . . . . . . . . . . . . 113 9.6 Publicações no período do doutorado . . . . . . . . . . . . . . . . . . 113 REFERÊNCIAS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 115 APÊNDICES 126 APÊNDICE A – DADOS DOS ESTUDOS INCLUÍDOS . . . . . . 127 APÊNDICE B – ESTUDOS EXCLUÍDOS . . . . . . . . . . . . . . 132 20 1 Introdução 1.1 Inteligência Artificial e explicabilidade Cada vez mais pode-se observar o uso massivo da Inteligência Artificial (IA) nas mais diversas áreas da tecnologia. Todo celular moderno conta com um sistema de assistente pessoal para auxiliar na rotina diária, assistente esse que toma suas decisões com auxílio da IA. Um avião atualmente consegue passar grande parte de seu tempo de voo sendo controlado pelo piloto automático, não havendo necessidade da interferência humana. A IA é capaz de realizar os mais diversos tipos de atividades, quase sempre de forma superior e mais confiável que os seres humanos (ABUSELIDZE; MAMALADZE, 2021) (GILLATH et al., 2021). Nos últimos anos pode ser observado ainda o advento da Inteligência Artificial Generativa, com capacidade de produção de textos e imagens com qualidades impressio- nantes, emulando a inteligência humana e servido de assistentes na produção de conteúdos antes não possíveis para não especialistas (HESSEL; LEMES, 2024). Com a adoção de IA existe a expectativa, por exemplo, que haverá uma redução no número de vagas de emprego. Porém, isso não necessariamente deve acontecer, mas sim uma mudança na natureza do trabalho a ser executado, passando muitas vezes de trabalhos penosos, com grande desgaste físico, para trabalhos de controle de equipamentos, baseados em esforço intelectual e demandando capacitação prévia maior (ABUSELIDZE; MAMALADZE, 2021). Entretanto, a disseminação de informações incorretas sobre a utilização de IA pode prejudicar a adoção deste tipo de tecnologia (CARVALHO, 2021). O uso comercial da IA em sistemas de informação permite oferecer aos usuários uma experiência superior, customizada a suas necessidades, otimizando negócios e acelerando processos. O processo de utilização da IA quase sempre consiste na introdução de dados em um modelo computacional de forma a treiná-lo para solucionar um determinado problema. Este modelo aprende os padrões destes dados de treinamentos e se torna capaz de identificá-los e prevê-los em outras massas de dados, identificando situações e fazendo recomendações. Porém, a estrutura interna do modelo, que leva ao aprendizado e toma as decisões, quase sempre é complexa e de difícil compreensão, principalmente para o usuário médio (SARKAR, 2019). Essa complexidade, somada da falta de transparência, gera grande receio e des- conforto para os usuários, ainda que especialistas em sua área do conhecimento, que tem a possibilidade de utilizar ferramentas com IA, criando barreiras para a adoção deste tipo de tecnologia (HAIBE-KAINS et al., 2020). Situações com risco de morte, como o uso de Capítulo 1. Introdução 21 IA para diagnóstico médico, tendem a gerar ainda mais receio. A IA pode tomar decisões superiores muitas vezes ao ser humano, mas normalmente não pode explicar e justificar sua decisão (DECAMP; LINDVALL, 2020). Neste cenário, surge o conceito de Inteligência Artificial Explicável (do inglês eXplainable Artificial Intelligence (XAI), buscando tornar a IA mais acessível, produzindo, além do resultado esperado, mecanismos que auxiliam a compreensão dos resultados e do caminho percorrido até eles. A primeira iniciativa para desenvolvimento de XAI partiu da Agência de Projetos de Pesquisa Avançada de Defesa, em inglês Defense Advanced Research Projetcs Agency (DARPA), agência governamental de pesquisa americana focada em projetos de defesa, onde foram desenvolvidas também as bases da Internet. Entretanto, diversas outras iniciativas explorando XAI vêm surgindo nos últimos anos, inclusive, provenientes de gigantes como o Google (GUNNING et al., 2021) (SARKAR, 2019). O XAI busca oferecer uma interface de explicação para o funcionamento da IA, desmistificando seu funcionamento e aumentando o grau de confiança do usuário, de forma a aumentar assim a aceitabilidade deste tipo de ferramenta. Segundo os autores do livro Creative Confidence, com cada inovação vem a necessidade de torná-la factível, viável e desejável (KELLEY; KELLEY, 2013). Na Figura 1 pode-se visualizar o cenário atual da IA e o proposto por meio da XAI. Figura 1 – Os cenários com a IA tradicional e XAI conforme definição da DARPA. Fonte - Turek (2018) - Traduzido pelo autor. Cada vez mais veem sendo utilizados modelos chamados profundos, que possuem uma grande quantidade de parâmetros, divididos muitas vezes em diversas camadas. Esses modelos apresentam bons resultados, mas devido a sua complexidade, quase sempre Capítulo 1. Introdução 22 são de difícil compreensão e, portanto, opacos. Buscar compreender como os diferentes componentes dos dados de treinamento impactam nos resultados é um ponto crucial da XAI, que auxilia no desenvolvimento de uma IA mais compreensível e assim mais justa e ética. Ainda que se baseiem puramente em técnicas matemáticas, as ferramentas de IA utilizam dados do passado em seu processo de aprendizado, podendo assim perdurar vieses e preconceitos presentes nos dados de treinamento. A IA pode ser considerada o futuro da tecnologia, mas é um futuro que aprende com o passado, que pode não ser totalmente desejável (MEHRABI et al., 2021). Quando se trata de explicabilidade, um fator fundamental é a própria audiência, o público-alvo tem papel de protagonista, visto que pode ser afetado pelas decisões dos modelos, dessa forma é fundamental que entendam a situação, buscando garantir que as decisões sejam tomadas de forma justa. Entretanto, é complexo quantificar o entendimento, a melhora na compreensão, sem adentrar campos relacionados a Psicologia e ao comportamento humano. Por utilizar métodos complexos, fazendo uso de técnicas matemáticas e de compu- tação avançadas, muitas vezes a população leiga e até mesmo especialistas não tem total conhecimento sobre o funcionamento dos métodos de IA, esse assunto é abordado com humor no quadrinho de xkcd (2017) que pode ser visto traduzido na Figura 2. Capítulo 1. Introdução 23 Figura 2 – Quadrinho tratando a temática de IA de forma bem humorada, com foco na falta de compreensão dos mecanismos de IA. Fonte - xkcd (2017) No documentário Coded Bias, a pesquisadora do Massachusetts Institute of Technology (MIT) Joy Buolamwini trata das falhas no treinamento de algoritmos de reconhecimento facial baseados em IA que possuem baixa precisão e acabam perpetuando preconceitos e gerando discriminação, principalmente por conta do treinamento com conjuntos dados com vieses. (KANTAYYA, 2020). Situações como essa levam cada vez mais cidades, principalmente nos EUA, a banir tecnologias de reconhecimento facial pelo poder público (POLLO, 2020). A preocupação com o impacto das tecnologias de IA na sociedade é tão grande que a Alta Comissária para Direitos Humanos da Organização das Nações Unidas (ONU) Michelle Bachelet, juntamente com seu escritório, produziu um relatório demandando ações urgentes para evitar riscos a privacidade provenientes da IA (RIGHTS, 2021). 1.2 Justificativas Com a evolução cada vez maior da IA, a necessidade de confiança nos dados vêm crescendo. A lei europeia General Data Protection Regulation (GDPR) possui um trecho onde torna obrigatória a explicação sobre o funcionamento dos mecanismos de Capítulo 1. Introdução 24 tratamento de dados (VALENTE, 2019). De acordo com a empresa de consultoria Gartner, estimou-se em 2017 que até 2020, cerca de 85% dos gerentes de informação teriam testado programas de IA, buscando comprar, criar ou contratar uma ferramenta deste tipo. Com esse crescimento, cabe ao ser humano encontrar mecanismos para garantir a confiabilidade (GOASDUFF, 2017). A presença da participação humana nas análises de dados, com auxílio de meca- nismos como XAI, permite que os usuários entendam, confiem e gerenciem adequadamente os resultados, obtendo feedback, mesmo com pouco conhecimento de domínio, alcançando assim modelos mais precisos (CHEN et al., 2016). Um fato que mostra a relevância da temática foi a premiação da professora Cynthia Rudin, da Univerdade de Duke, com o prêmio Squirrel AI de Inteligência Artificial para o Benefício da Humanidade da Associação para Desenvolvimento da Inteligência Artificial (AAAI), após 15 anos de pesquisas sobre algoritmos de aprendizado de máquina interpretáveis (KINGERY, 2021). Em 2023 o Reino Unido convocou diversos países, incluindo os Estados Unidos e a China, juntamente com a União Europeia, para assinar o primeiro acordo mundial estabelecendo um entendimento compartilhado das oportunidades e riscos apresentados pela IA, ressaltando a necessidade dos países trabalharem juntos para enfrentar os desafios que tendem a surgir (SUNAK; DONELAN; CLEVERLY, 2023). Além disso, o próprio governo dos EUA vem trabalhando em diversas frentes para utilização da IA com a devida segurança e confiança (HOUSE, 2024) O próprio Papa Francisco, chefe do Estado do Vaticano e líder mundial da Igreja Católica Apostólica Romana, escolheu como tema de sua carta para o Dia Mundial da Paz de 2024 "Inteligência Artificial e Paz", reforçando o cuidado necessário com o avanço tecnológico, em especial a IA, segundo ele: "Os avanços tecnológicos que não conduzem a uma melhoria da qualidade de vida da humanidade inteira, nunca poderão ser considerados um verdadeiro progresso"(FRANCISCO, 2024). 1.3 Hipótese Diversas áreas da Saúde, entre elas a reabilitação neuromotora, se beneficiam de aplicações computacionais. Uma necessidade no processo de reabilitação é a execução dos movimentos adequados propostos pelo profissional de saúde, a identificação do movimento geralmente demanda uma análise do profissional, utilizando toda sua experiência prévia e conhecimento técnico. Uma ferramenta computacional que auxilie na classificação do movimento, utilizando IA, pode auxiliar na análise do profissional, acelerando o processo de identificação do movimento (RODRIGUES et al., 2022). Através da XAI, como uma expansão da IA, espera-se que seja possível aumentar a quantidade de dados fornecidas Capítulo 1. Introdução 25 ao profissional de saúde, permitindo, além da identificação do movimento, uma avaliação mais detalhada. A aplicação de XAI em dados temporais, que tem em sua estrutura uma dimensão representando a passagem do tempo, é ainda uma área pouco explorada, representando um desafio e uma vez que dados de movimentos e reabilitação tendem a ter características temporais, a aplicação de XAI nesse contexto encara esse desafio (ŠIMIć; SABOL; VEAS, 2021). Além disso, os processos de avaliação de XAI, buscando compreender o nível de entendimento do público alvo, ainda são poucos definidos, conforme será demonstrado através da Revisão Sistemática de Literatura (RSL) (LOPES et al., 2022) (SISK et al., 2022). Dessa forma, cria-se a seguinte hipótese: uma estratégia utilizando XAI pode cola- borar de forma positiva com o processo de análise dos dados de reabilitação neuromotora? 1.4 Objetivos O objetivo principal desta tese é apresentar uma estratégia de uso de XAI no apoio à reabilitação neuromotora, com foco na classificação de movimentos. Os objetivos secundários abordados foram: • Revisão Sistemática de Literatura: de modo a alcançar esse objetivo principal, foi realizada uma RSL que busca explorar o campo de pesquisa do uso de XAI na reabilitação neuromotora e com isso obter informações sobre a aplicação de técnicas de XAI de forma a melhorar o entendimento do usuário acerca do funcionamento de métodos de IA; • Comparação de Ferramentas de XAI: por meio das informações obtidas na revisão, foi realizada uma comparação sobre algumas das ferramentas para uso de XAI existentes; • Estudo sobre Avaliação de XAI: também por meio das informações obtidas na revisão, foi realizado um aprofundamento na questão de avaliação e métricas para métodos de XAI; e • Desenvolvimento de ferramenta de XAI: com base em todo conteúdo reunido, foi elaborada a estratégia de uso, que contemplou o desenvolvimento de uma ferramenta que se encontra em testes por um colaborador pesquisador da área de reabilitação. Capítulo 1. Introdução 26 1.5 Considerações finais do capítulo No presente capítulo foram apresentadas informações sobre as motivações e sobre o contexto desta tese, de forma a criar uma base para continuidade do mesmo, expondo a tendência de uso da IA e as preocupações que esse uso pode trazer. 1.6 Estrutura da tese Esta tese está organizado em mais 8 capítulos e 2 apêndices: • Capítulo 1: a presente introdução; • Capítulo 2: são expostos conceitos para fundamentar o restante do trabalho; • Capítulo 3: é apresentada a RSL realizada; • Capítulo 4: são descritas ferramentas e bibliotecas para uso de XAI; • Capítulo 5: é detalhado o desafio da avaliação em XAI; • Capítulo 6: a estratégia de uso e o contexto onde ela está inserida são apresentados; • Capítulo 7: apresenta o processo de desenvolvimento da estratégia de uso, em especial da ferramenta desenvolvida; • Capítulo 8: contém a apresentação e discussão dos resultados obtidos; • Capítulo 9: apresenta a conclusão desta; • Apêndice A: apresenta os dados dos estudos incluídos na RSL; e • Apêndice B: apresenta uma lista dos estudos excluídos na RSL. 27 2 Fundamentação Teórica 2.1 Considerações iniciais do capítulo Neste capítulo serão apresentados os principais conceitos que norteiam esta tese, sendo eles: Inteligência Artificial e Inteligência Artificial Explicável. 2.2 Inteligência Artificial O termo foi criado na década de 1950 pelo professor e pesquisador John McCarthy, ele a definiu como: “ciência e engenharia de fazer máquinas inteligentes, especialmente programas de computador inteligentes” (MCCARTHY, 2007). Diversos pesquisadores da área discutem a definição de IA, e com isso, uma definição considerada bastante esclarecedora é a dos autores Rich e Knight: "IA é o estudo de como fazer os computadores realizarem tarefas as quais, até o momento, os homens fazem melhor"(RICH; KNIGHT, 1994). Já o autor Laurière complementa: "todo problema para o qual nenhuma solução algorítmica é conhecida é um problema de IA"(LAURIERE, 1990). Diante destas definições, Russel e Norvig (2012) buscaram categorizar elas, defi- nindo 4 objetivos que a IA pode buscar: • Pensar como um humano; • Pensar racionalmente; • Agir como um ser humano; e • Agir racionalmente. A IA pode incluir um grande número de vertentes: processamento de linguagem natural, representação de conhecimento, raciocínio automatizado, aprendizado de máquina, visão computacional, robótica e etc. Desenvolvidos entre as décadas de 1980 e 1990, os chamados sistemas especialistas foram criados para simular o raciocínio de um especialista em uma área do conhecimento, respondendo a perguntas com informações sobre a área escolhida. São utilizados para auxí- lio na tomada de decisões complexas em diversas áreas como medicina, engenharia, finanças e direito. Sendo considerados uma das tecnologias presentes no "guarda-chuva"do termo Inteligência Artificial. Sempre existiu a preocupação com a explicabilidade e confiança Capítulo 2. Fundamentação Teórica 28 em ferramentas baseadas em sistemas especialistas, a explicabilidade para essa situação pode ser alcançada de diversas formas, entre elas: uso de regras explicitas, desenvolvi- mento de visualização ilustrando o funcionamento do modelo e métodos de decomposição (CARBONERA; GONçALVES; SOUZA, 2023). Nos últimos anos a inteligência artificial chamada generativa se encontra em um momento de rápido avanço e grande potencial, abrindo um leque de oportunidades para diversos setores, com ela é possível gerar conteúdo inédito de forma automatizada. Modelos de linguagem como o GPT-4 e o LLaMA demonstram capacidades impressionantes na geração de textos realistas e criativos, desde poemas e roteiros até código de programação e artigos científicos (BROWN et al., 2020) (OPENAI et al., 2024) (TOUVRON et al., 2023). Já na área de imagens, ferramentas como o DALL-E 2 e o Imagen 2 permitem criar imagens realistas a partir de simples descrições textuais, com aplicações promissoras em design, marketing e entretenimento (RAMESH et al., 2022) (SAHARIA et al., 2022). Surgem cada vez mais pesquisas discutindo a questão da explicabilidade e trans- parência em modelos de linguagem, ressaltando a necessidade de que toda evolução que vem acontecendo aceleradamente seja acompanhada de forma equilibrada pela valorização da interpretabilidade (CAMBRIA et al., 2024). Entretanto, modelos de linguagem são sistemas extremamente complexos, com bilhões de parâmetros, dessa forma compreender o raciocínio por trás de cada resposta se torna um desafio. 2.3 Inteligência Artificial Explicável A Inteligência Artificial Explicável (XAI) é uma vertente da IA que tem o objetivo de explicar seu próprio propósito, além de fornecer resultados. Essa explicação do propósito deve incluir sua finalidade e seu processo de decisão, que é amplamente reconhecido como um recurso crucial para a implantação prática de modelos de IA (ARRIETA et al., 2020). As discussões sobre XAI se tornam cada vez mais presentes no mundo da tecnologia. Uma XAI busca demonstrar sua finalidade de forma transparente por meio dos seguintes aspectos (KIE-TEC, 2019): • As forças e fraquezas da aplicação; • Os critérios específicos utilizados para chegar ao resultado; • A razão pela qual uma decisão foi tomada, em detrimento de outras opções, justifi- cando assim a decisão; • O nível de confiança apropriado para diversos tipos de decisão; • Erros aos quais a aplicação em questão está vulnerável; e Capítulo 2. Fundamentação Teórica 29 • Formas de corrigir estes erros. Organizações como a OpenAI 1, uma organização sem fins lucrativos com foco no desenvolvimento de uma IA amigável, tendem a surgir e unir grandes empresas em torno desta filosofia, deixando para trás uma IA que existe como uma caixa preta e tornando ela algo transparente. Alguns importantes pontos relacionados aos benefícios do uso da XAI podem ser vistos a seguir (NETO, 2021): • Detectar vieses, preconceitos, falhas e vulnerabilidades nos modelos; • Garantir a atuação de variáveis úteis, otimizando processos; • Obter conhecimento dos negócios por meio da interpretação dos modelos; • Atender os domínios que necessitam de explicações das decisões, que tratam de informações sensíveis, como saúde, segurança, entre outros; • Atender questões regulatórias e legais; e • Aumentar robustez das soluções e a confiança proporcionada. Um dos principais pontos a se considerar diz respeito às decisões obtidas com auxílio de um modelo que afetam de maneira direta a vida dos seres humanos, impactando em campos como a medicina, direito e segurança pública, nessas situações, existe a necessidade emergente de se buscar compreender como os modelos de IA chegaram às suas decisões (GOODMAN; FLAXMAN, 2017). Um exemplo concreto pode ser citado na chamada medicina de precisão, onde os especialistas necessitam de mais informações provenientes do modelo além de uma resposta binária obtida a partir de uma classificação (TJOA; GUAN, 2019). Um ponto positivo dos modelos considerados transparentes é que quando se ajusta um modelo transparente com os mesmos dados, sempre se obtém os mesmos resultados. Entretanto, os modelos não transparentes ou opacos não são igualmente reproduzíveis porque usam números aleatórios para inicializar seus pesos (MASÍS, 2021). 2.3.1 Abordagens conceituais As técnicas de XAI podem ser classificadas de diversas formas, de acordo com as informações utilizadas, a forma de integração com a IA e compatibilidade com diferentes modelos, algumas das classificações mais comuns são: 1 https://openai.com/ Capítulo 2. Fundamentação Teórica 30 Global ou local: diz respeito ao nível de interpretação fornecido pela técnica XAI, sendo global referente ao modelo como um todo, explicando o comportamento de forma geral e local referente a explicação em um ponto individual, expondo o comportamento da decisão para cada predição (ALI et al., 2023). Transparente ou posterior (post-hoc): trata do momento em que a explicação é gerada, onde as técnicas transparentes buscam a explicabilidade durante o processo de predição do modelo, tornando o processo transparente, ou white-box, já as técnicas posteriores fornecem a explicação depois do treinamento e da predição, por meio dos dados de entrada e saída (ALI et al., 2023). Específico ou model-agnostic: essa classificação está relacionada ao suporte a dife- rentes modelos pela técnica de XAI. As técnicas específicas servem para gerar explicações sobre uma técnica ou uma família de técnicas em especial, já as técnicas model-agnostic, como o próprio nome diz, são agnósticas de modelo, servindo em qualquer modelo preditivo. A explicação com técnicas específicas geralmente demanda um conhecimento interno do modelo, já as técnicas agnósticas utilizam somente as predições e os dados de entrada (ALI et al., 2023). 2.3.2 Termos e definições A área de pesquisa de XAI está intimamente ligada aos termos interpretabilidade e explicabilidade, com ambos sendo usados indevidamente de forma intercambiável. En- tretanto, existem diferenças entre os conceitos, interpretabilidade é definida como uma característica passiva do modelo, de modo que se refere a quanto um determinado modelo faz sentido para um observador, esse termo pode ser usado como sinônimo para transpa- rência. Já o termo explicabilidade se refere a uma característica ativa do modelo, está relacionado às ações ou procedimentos efetuados para detalhar e esclarecer o funcionamento e as funções internas de um modelo (ARRIETA et al., 2020). Outro termo utilizado no contexto de XAI é a compreensibilidade, definido como o grau que um humano pode entender uma decisão tomada por um modelo de IA. A compreensibilidade também está relacionada à medida da capacidade do público para entender o conhecimento contido no modelo. Ou seja, as características buscadas pela XAI estão em dois lados: no modelo e também no público que irá fazer uso da explicação (SCHNEEBERGER et al., 2023). Sintetizando esses termos, Gunning et al. (2019) define XAI da seguinte maneira: “A XAI criará um conjunto de técnicas de aprendizado de máquina que permite que os usuários humanos entendam, confiem adequadamente e gerenciem efetivamente a geração emergente de parceiros artificialmente inteligentes”. Ainda existe uma falta de concordância no vocabulário de conceitos e nas diferentes definições que cercam a XAI, entretanto a ideia central sempre permanece na questão do entendimento por parte do usuário. Capítulo 2. Fundamentação Teórica 31 2.3.3 Público alvo Um ponto a ser abordados em XAI é a dificuldade na definição do público alvo da explicação. Este ponto apresenta grande importância, de modo que a definição do público alvo correto impacta no objetivo e na nível da explicação. Na Tabela 1 são mostradas algumas opções de público alvo e o objetivo da explicação para cada opção. Tabela 1 – Público-alvo em XAI Interessados Motivação Especialistas de domínio/usuários do modelo (por exemplo, médicos, agentes de seguros) Confiar no próprio modelo, ganhar co- nhecimento científico Entidades/agências reguladoras Certificar modelo de cumprimento da legislação em vigor, auditorias Gerentes e membros do conselho execu- tivo Avaliar a conformidade regulamentar, entender os aplicativos corporativos de IA Cientistas de dados, desenvolvedores, proprietários de produtos Garantir ou melhorar a eficiência do pro- duto, pesquisa, novas funcionalidades Usuários afetados pelas decisões do mo- delo Entender a situação deles, verificar as decisões justas Fonte: Traduzido e adaptado de Arrieta et al. (2020) Nigam Shah, professor de medicina (informática biomédica) e de ciência de dados biomédicos na Universidade de Stanford, identificou três principais vertentes de interpretabilidade de acordo com diferentes públicos: explicabilidade para engenheiros, explicabilidade causal e explicabilidade que induz à confiança (MILLER, 2021). Na Figura 3 podem ser observadas essas vertentes e o modo como elas se sobrepõe, sendo assim algumas explicações podem estar na interseção das três vertentes. Capítulo 2. Fundamentação Teórica 32 Figura 3 – Diagrama mostrando as vertentes de interpretabilidade de acordo com dife- rentes públicos. INTERPRETABILIDADE DE ENGENHEIROS INTERPRETABILIDADE CAUSAL INTERPRETABILIDADE DE INDUÇÃO DE CONFIANÇA Como o modelo de IA produziu a saída? Interpretabilidade como substituto da confiança Por que a entrada produziu a saída? Tipos de interpretabilidade de IA Fonte — Adaptado de (MILLER, 2021). Para os engenheiros é interessante saber como é o funcionamento do modelo para auxiliar na depuração, já para médicos e no campo da saúde, a explicação causal pode ser útil na questão de ganho de confiança. “Mostrar a alguém uma explicação de uma zona diferente daquela de que ela precisa pode ter consequências inesperadas, como a perda de confiança em um modelo preciso e útil”, diz o professor Shah (MILLER, 2021). Um grande desafio dos métodos de XAI, em especial para métodos de aprendi- zado profundo, é fornecer explicações que sejam acessíveis para a sociedade como um todo, inclusive para os responsáveis por formular políticas e leis. Essas explicações não devem exigir conhecimentos técnicos, de forma a tratar bem ambiguidades e auxiliar no desenvolvimento do direito à explicação para toda a sociedade, ponto que ainda não está presente em diversas legislações relacionadas a proteção de dados, como na GDPR na Europa (WACHTER; MITTELSTADT; FLORIDI, 2017). Os especialistas em determinada área, chamados especialistas de domínio, não sendo conhecedores de IA e Aprendizado de Máquina, do inglês Machine Learning (ML), acabam por buscar entender a decisão da IA através de raciocínio lógico e relação de causa Capítulo 2. Fundamentação Teórica 33 e efeito, enquanto do cientistas de IA e ML buscam entender o funcionamento do modelo internamente, levando em conta seus componentes e o impacto que geram nas previsões. 2.3.4 Métricas De acordo com Arrieta et al. (2020), existe uma grande necessidade em pesquisar conceitos e métricas para avaliação da explicabilidade alcançada, em especial para modelos de aprendizado profundo. Uma métrica ou grupo de métricas deve ser capaz de permitir uma comparação relevante sobre o quanto o modelo se adéqua na definição de explicável. Hoffman et al. (2018) se aprofunda nesta questão da falta de métricas, questionando em especial os desafios e prospectos dessa temática. A questão que norteia esse estudo é: "Se apresentarmos a um usuário um sistema de IA que explica como funciona, como saberemos se a explicação funciona e se o usuário alcançou uma compreensão pragmática da IA?". Essa questão principal ainda se expande nas seguintes questões: • A qualidade das explicações; • Se os usuários estão satisfeitos com as explicações; • Quão bem os usuários entendem os sistemas de IA; • Como a curiosidade motiva a busca por explicações; • Se a confiança do usuário e a confiança na IA são adequadas; e • Como o sistema de trabalho humano-XAI funciona. 2.3.5 Necessidade de explicações Outro ponto apresentado pela área de pesquisa de XAI é se realmente as explicações apresentam resultados positivos e são necessárias. Explicações podem levar o público alvo a confiar em um sistema que pode estar errado, essa situação é semelhante ao uso de estatística muitas vezes distorcidas para embasar conclusões erradas e tendenciosas. Em uma pesquisa realizada pela Microsoft, foram utilizados dois modelos de IA, sendo um explicável e outro não, avaliadores avaliaram positivamente o modelo explicável, ainda que as decisões estivessem claramente erradas e ficaram reticentes com resultados obtidos por meio do modelo não explicável (POURSABZI-SANGDEH; GOLDSTEIN; HOFMAN, 2021). Um dos pontos onde a explicabilidade pode não ser desejada ou causar problemas é em situações onde existe a questão do segredo comercial, onde o funcionamento de sistemas e algoritmos faz parte da atividade-fim da empresa, sendo parte do que difere o serviço ou produto oferecido dos concorrentes. Nessas situações, a tecnologia utilizada Capítulo 2. Fundamentação Teórica 34 pela organização é protegida como um segredo comercial e demandas por explicabilidade, expondo mecanismos internos de funcionamento dessa tecnologia podem colocar em risco a exclusividade do serviço prestado, causando prejuízos a organização (ADADI; BERRADA, 2018). Informações de explicabilidade podem também ser utilizadas para melhorar a efetividade de ataques maliciosos que buscam confundir o modelo por meio das chamadas amostras adversáriais. Entretanto, nesse mesmo contexto, é possível utilizar essas informa- ções para evitar esse tipo de ataque, executando experimentos e fortalecendo o modelo (MARINO; WICKRAMASINGHE; MANIC, 2018). Muitas vezes a explicabilidade pode não ser considerada útil por demandar um esforço considerável sem oferecer um retorno equivalente, por exemplo, em uma situação onde um mecanismo de IA realiza a leitura de códigos de postais em encomendas, esse mecanismo pode errar, porém, seu erro causa pouco impacto na sociedade, como descriminações e injustiças e a frequência do erro pode nem mesmo gerar um problema financeiro relevante (MASÍS, 2021). Diante desses pontos negativos relacionados à aplicação de explicabilidade, surge a diretriz de se preferir, quando possível, o uso de técnicas transparentes no desenvolvimento de um sistema baseado em IA. Levando em conta que diferentes necessidades e contextos demandam diferentes soluções, recomenda-se primeiro considerar a utilização de modelos interpretáveis como padrão em vez de métodos de modelagem sofisticados, porém opacos (RUDIN, 2019). Entretanto, geralmente modelos considerados caixa preta superam os modelos considerados caixa branca na maioria das métricas (MASÍS, 2021). 2.3.6 Abordagens de Inteligência Artificial Explicável Diferentes iniciativas e grupos de pesquisas em todo mundo vem desenvolvendo a XAI por meio das mais diversas abordagens, Arrieta et al. (2020) elencaram as principais abordagens utilizadas, que podem ser observadas na Figura 4. Capítulo 2. Fundamentação Teórica 35 Figura 4 – Diagrama mostrando as principais abordagens de XAI. Modelo Caixa Preta Visualização Explicações Locais Relevância do Recurso Explicação por Exemplos Simplificação de Modelo Explicações de Teste Diferentes Abordagens de Explicabilidade Post-hoc Fonte — Adaptado de (ARRIETA et al., 2020). Realizando uma vasta pesquisa, Arrieta et al. (2020) buscaram relacionar os diferentes modelos de IA utilizados às diferentes abordagens de explicabilidade, gerando assim uma taxonomia que elenca os principais trabalhos envolvendo cada modelo e sua abordagem de explicação. Durante a realização de sua pesquisa, foi detectada a necessidade de criação de uma taxonomia adicional específica para modelos de aprendizagem profunda. O trabalho de Fjeld et al. (2020) buscou mapear todos os documentos que propuseram, desde 2016, princípios para nortear o desenvolvimento de IA. Baseado nesse mapeamento e nos principais desafios de XAI, (ARRIETA et al., 2020) chegaram ao conceito de IA Responsável, um tipo de IA que busca por meio de diversos mecanismos, entre eles a XAI, oferecer ferramentas de tratamento de dados de forma automática e inteligente que sigam princípios éticos e de transparência. A Figura 5 demostra a criação do conceito de IA Responsável. Capítulo 2. Fundamentação Teórica 36 Figura 5 – Diagrama mostrando a criação do conceito de IA Responsável através de diversos aspectos. XAI Interpretabilidade x Performance Conceitos e Métricas de XAI XAI e Fusão de Dados XAI e Confiança de Saída Implementação e Diretrizes Ciência de Dados Orientada pela Teoria Explicação da Justificativa e Estudos de Dados Críticos XAI e Segurança: Aprendizado de Máquina Adversarial Alcançando a Explicação no Aprendizado Profundo Justiça Ética Responsabilidade Segurança & Proteção IA Responsável Privacidade Transparência Resumo dos desafios do XAI e seu impacto nos princípios da IA responsável. Fonte — Adaptado de Arrieta et al. (2020). Quando se considera o modelo completo, sem a necessidade de melhora-lo por meio da explicabilidade, não sendo necessário questionar o seu funcionamento, pode-se considerar o entendimento do problema como completo. Caso essa seja a situação, a recomendação seria não utilizar o aprendizado de máquina, uma vez que a aplicação de aprendizado de máquina deve ser usada quando não é possível definir um algoritmo com regras específicas para tratar o problema (MASÍS, 2021). 2.4 IA e XAI em saúde O uso de IA já é uma realidade no setor da saúde, abrindo uma gama de pos- sibilidades promissoras para diagnósticos, pesquisas e uma evolução na relação entre profissionais da área e pacientes. Diversas aplicações inovadoras já estão em uso, mas ainda há um caminho a ser percorrido para garantir que esse avanço tecnológico traga benefí- cios concretos e mensuráveis para todos os envolvidos, de forma confiável e transparente (JUNIOR; NAKAYA; RIZZO, 2024). A IA na área de saúde tem um enorme potencial para revolucionar o setor, mas é fundamental que seu desenvolvimento e aplicação sejam guiados por princípios éticos, científicos e responsáveis. Somente assim pode-se garantir que essa tecnologia traga Capítulo 2. Fundamentação Teórica 37 benefícios reais para pacientes, profissionais e para toda a sociedade (BRUNO; PEREIRA; FALTAY, 2023). Com a preocupação sobre os aspectos de confiança e transparência no uso de IA em saúde, surgem possibilidades de aplicação de XAI na área, buscando entregar mais informações além da decisão do modelo (BORYS et al., 2023). Ainda que a área de XAI venha se desenvolvendo muito nos últimos anos, a aplicação em dados temporais, como séries temporais e em especial, vídeos é um grande desafio (ŠIMIć; SABOL; VEAS, 2021). Existem muitos exemplos disponíveis de XAI sendo aplicada em imagens, dados tabulares, etc., porém ao se adicionar o tempo como uma nova dimensão, com uma relação de sequência entre as amostras, a dificuldade em se obter explicações aumenta. O trabalho de Kolarik et al. (2023) propõe uma revisão sobre a explicabilidade em modelos profundos aplicados a vídeos médicos, encarando o desafio de tratar dados temporais em uma área importante que é a saúde. Sobre a detecção de movimentos em vídeo com IA na área de saúde, o trabalho de Leo et al. (2022) propõe uma análise da área de pesquisa e um levantamento das possibilidades de evolução para o futuro, com o foco na movimentação de bebês e em doenças neurológicas. Explorando essa área de pesquisa, com a aplicação de XAI, pode-se citar o trabalho de Sakkos et al. (2021) que propõe uma análise dos movimentos de bebês utilizando IA e XAI para detectar sinais de paralisia cerebral (ZHU et al., 2021) (MCCAY et al., 2021). 2.5 Acidente Vascular Cerebral e Reabilitação O chamado acidente vascular cerebral (AVC) é uma situação médica onde se danifica tecido cerebral próximo de sua ocorrência, pode ser isquêmico, com bloqueio de vasos sanguíneos, ou hemorrágico, com ruptura de um vaso. Em parte das situações não é fatal, porém causa sequelas, que variam conforme a área do cérebro afetada. Dentre as sequelas, as principais são problemas visuais, na fala, perda de coordenação motora, etc., diversos tratamentos podem ser utilizados buscando amenizar essas sequelas, podendo ser citada a fisioterapia como uma das principais. É uma doença de impacto mundial, causando incapacitação a longo prazo, custos médicos para o sistema de saúde e redução na qualidade de vida dos afetados (HEALTH, 2020). A fisioterapia se mostra uma abordagem com bons resultados devido à capacidade das vias neurais de se recuperarem parcialmente, mesmo após o AVC. No tratamento neuromotor oferecido pela fisioterapia, existe o estímulo do rearranjo das vias e circuitos motores do cérebro, por conta da capacidade de plasticidade cerebral ou neuroplasticidade, que permite que os neurônios se regenerem tanto anatomicamente quanto funcionalmente, formando novas conexões sinápticas. Quanto mais precoce for o início das abordagens para terapia, melhores serão os resultados, onde é importante também a colaboração do Capítulo 2. Fundamentação Teórica 38 paciente, buscando não abandonar o tratamento. Soluções como abordagens lúdicas e interfaces diferenciadas, como realidade aumentada e virtual, podem colaborar com o aumento do interesse por parte do paciente (REGO; MOREIRA; REIS, 2010). No campo da Ciência da Computação, o desenvolvimento de ferramentas computa- cionais para auxiliar na reabilitação pós-AVC abre um leque de oportunidades promissoras para aprimorar o processo de recuperação de pacientes que sofreram um acidente vascular cerebral. Diversas ferramentas computacionais podem ser utilizadas para complementar o trabalho tradicional de fisioterapia e fonoaudiologia, oferecendo estímulos personalizados, monitoramento contínuo e feedback imediato aos pacientes. Aplicações de realidade virtual e realidade aumentada permitem a criação de ambientes imersivos e interativos que simulam situações da vida real, motivando os pacientes a praticar tarefas motoras e cognitivas de forma divertida e engajadora (RODRIGUES et al., 2022) (JOHN; SANGEETHA, 2024). 2.6 Considerações finais do capítulo Neste capítulo foram apresentados os principais conceitos para nortear a presente tese, com base nestes conceitos, será descrita a seguir a metodologia utilizada para realização de uma RSL. Por meio da revisão apresentada no Capítulo 3, se busca compreender melhor o contexto de uso de XAI e como é construído esse tipo de ferramenta. 39 3 Revisão Sistemática de Literatura 3.1 Considerações iniciais do capítulo Neste capítulo são apresentados os métodos e dados acerca do processo de revisão realizado neste estudo, descrevendo principalmente o método de RSL. 3.2 Metodologia A RSL é uma técnica de pesquisa cujo objetivo é executar revisões abrangentes de literatura sobre um determinado tema, avaliando os resultados de forma não tendenciosa, detalhando e explicando todo o processo, incluindo seus critérios de seleção, de modo que o pesquisador que for utilizar a revisão avalie a qualidade desta e atualizá-la ou executá-la novamente se for necessário. Esta técnica foi desenvolvida inicialmente para utilização na área Médica, porém, vem cada vez mais sendo utilizada em outras áreas do conhecimento, incluindo a Ciência da Computação (BRERETON et al., 2007). 3.2.1 Classificação dos estudos Durante a revisão os estudos são categorizados da seguinte forma: • Estudos identificados: são os estudos retornados pelo sistema de busca selecionado, seja ele manual ou eletrônico. É registrada a quantidade de estudos encontrada e a fonte destes estudos; • Estudos duplicados: são aqueles estudos que estão presentes em mais de uma base de dados selecionada, são contabilizados somente uma vez; • Estudos não selecionados: são aqueles estudos que de maneira objetiva não atendem os critérios de inclusão. São excluídos durante a fase de seleção. É registrada apenas a quantidade destes estudos; • Estudos selecionados: são aqueles que aparentemente atendem os critérios de inclusão, são incluídos na fase de seleção. Registram-se as referências completas destes estudos; • Estudos excluídos: são aqueles estudos que, após avaliação do texto completo, não atendem aos critérios de inclusão, sendo excluídos na etapa de extração; e • Estudos incluídos: são aqueles estudos que, após avaliação do texto completo, atendem aos critérios de inclusão, se mantém durante todo o processo, sendo utilizados na etapa de extração. Capítulo 3. Revisão Sistemática de Literatura 40 3.2.2 Objetivos da revisão A revisão executada tem como objetivo compreender os processos de uso da chamada Inteligência Artificial Explicável no contexto da Reabilitação Neuromotora, analisando estudos que tratam da utilização deste conceito de forma concreta e prática, fornecendo explicabilidade para ferramentas que utilizam Inteligência Artificial e Aprendi- zado de Máquina no apoio à Reabilitação Neuromotora, e por meio disso, compreender profundamente o campo de pesquisa. 3.2.3 Questões de pesquisa Após diversas discussões e pesquisas prévias, chegou-se à seguinte questão principal de pesquisa: Como se usa XAI na reabilitação neuromotora? Esta pergunta principal pode ser expandida nas seguintes questões: • Quais são as soluções de XAI (técnicas ou métodos) já existentes em uso na reabili- tação neuromotora? • Quais os recursos visuais utilizados por essas soluções de XAI na reabilitação neuromotora?; • Quais são as fontes de dados utilizadas para aplicar a XAI na reabilitação neuromo- tora?; e • Quão maduras são essas soluções de XAI na reabilitação neuromotora? 3.3 Desenvolvimento do protocolo Nesta seção é descrito o desenvolvimento do protocolo definido para guiar a presente revisão. Foram detalhadas as seguintes etapas: escolha da estratégia de busca, escolha das bases de dados, definição dos critérios de inclusão e exclusão, definição do processo de extração de dados com o formulário de extração e do processo de síntese dos estudos. 3.3.1 Estratégia de busca e bases de dados Durante as buscas preliminares, foram sendo selecionados termos para se obter um busca mais focada, com uma quantidade de resultados que possibilitasse a execução da revisão, alguns termos inclusive foram sendo identificados como interessantes nos resultados obtidos, gerando um grupo de controle e um processo recursivo de refinamento. Ao final deste processo, definiu-se uma revisão sistemática utilizando os termos: Capítulo 3. Revisão Sistemática de Literatura 41 machine learning, deep learning, trust, explainable, artificial intelligence, interpre- tability, neurorehabilitation, neuromotor rehabilitation. As bases de dados oferecem o recurso de busca avançada, onde os termos de buscas podem ser concatenados utilizando caracteres adequados que servem como operadores, formando assim a chamada string de busca. Para o presente estudo, a string de busca utilizada foi: (((explainable OR interpretable) AND ("artificial intelligence"OR "machine lear- ning"OR "deep learning")) OR XAI) AND ("neuromotor rehabilitation"OR neurorehabili- tation) Foram considerados estudos válidos artigos publicados na língua inglesa em periódicos e conferências, e somente os estudos localizados a partir do ano de 2018 até a execução das buscas e da fase de identificação dos estudos em 23/06/2024. As buscas iniciais foram realizadas utilizando strings de busca nas bases de dados ACM Digital Library, IEEE Digital Library, ISI Web of Science, Science@Direct e Scopus. Estas bases foram selecionadas por fornecerem uma quantidade adequada de estudos e possuírem acesso liberado por meio dos convênios da universidade. A seleção destas foi realizada considerando a relevância, afinidade com as áreas de estudo e quantidade de resultados obtidos nos testes preliminares. 3.3.2 Critérios de inclusão e exclusão Nesta etapa foram definidos os critérios para avaliar quais estudos avançam para a próxima etapa da revisão. Os critérios devem ser definidos a partir das questões de pesquisa. Outros critérios que podem ser utilizados na execução de uma revisão são: restrição por idioma, por exemplo, restringir a revisão a somente artigos em inglês, restrição por área, restrição por artigos primários, excluindo estudos secundários como outras revisões sistemáticas, etc. (NEIVA; SILVA, 2016). Não foram encontrados trabalhos correlatos escritos em língua portuguesa, desta forma optou-se pela inclusão somente de artigos escritos na língua inglesa. Para a presente revisão, os seguintes critérios de inclusão foram definidos: • Afinidade do estudo com os temas desejados – buscou-se incluir na revisão os estudos que possuíam relação com o tema Uso de XAI e similares no contexto da reabilitação neuromotora, estudos sem relação ao assunto foram excluídos; e • Apresenta uma aplicação prática – foram selecionados e identificados todos os estudos que apresentaram uma aplicação prática e concreta dos temas desejados, de modo que se pudesse entender o processo de desenvolvimento desta aplicação. Capítulo 3. Revisão Sistemática de Literatura 42 Como critérios de exclusão, foram definidos os seguintes critérios: • Estudo completo não está disponível no idioma inglês – estudos retornados na pesquisa, com o resumo disponível na língua inglesa, porém, com o texto completo somente disponível em outro idioma foram excluídos da revisão pela impossibilidade de leitura; • Estudo não possui acesso liberado para a instituição - estudos retornados na pesquisa, com o resumo disponível, porém, com o texto completo não disponível nas permissões fornecidas pela universidade, foram excluídos da revisão pela impossibilidade de leitura; • Falta de afinidade do estudo com os temas desejados – estudos retornados na busca, porém, que não apresentavam afinidade com os temas desejados foram excluídos; • Não é um artigo – resultados retornados que não poderiam ser considerados estudos foram desconsiderados, entre eles estão artigos de opinião, índices de anais de eventos, entre outros; • Não trata de implementação, se limitando apenas a conceitos de XAI - estudos que tratam dos assuntos desejados de maneira conceitual, sem realizar implementação, foram excluídos da revisão; • Revisão ou survey sobre o assunto - estudos que apresentavam uma revisão anterior sobre o assunto foram excluídos da presente revisão, para serem analisados de forma particular; e • Trata de ferramenta já analisada – situações onde foram identificados mais de um artigo proveniente de um mesmo grupo de autores e se tratando da mesma ferramenta optou-se por avaliar o estudo mais recente, excluindo os demais por já terem a ferramenta em questão analisada. 3.3.3 Extração de dados Na etapa de extração de dados, a questão de pesquisa deve ser respondida por meio da análise dos artigos selecionados na etapa anterior, mediante um formulário de extração previamente elaborado com questões que detalhem aspectos da pergunta de pesquisa principal. Os dados são registrados de maneira que fiquem vinculados aos estudos a que se referem, esse registro pode ser realizado utilizando ferramentas especificas ou métodos mais simplificados, como uma planilha. Ao se executar a leitura completa dos estudos, as possíveis respostas ao formulário de extração são registradas (NEIVA; SILVA, 2016). Capítulo 3. Revisão Sistemática de Literatura 43 Para o presente estudo, as seguintes questões compuseram o formulário de extração, conforme pode ser observado na Tabela 2: Tabela 2 – Questões que compuseram o formulário de extração. Número Questão Objetivo 1 Nome da técnica ou mé- todo Esta pergunta visa identificar o nome dado a ferramenta e verificar se a ferramenta em questão já não foi analisada em outro estudo. 2 Qual o objetivo? Por meio desta pergunta buscou-se identificar o objetivo principal que levou ao desenvolvimento da solução. 3 Cita diretamente uso de XAI? Por meio desta pergunta buscou-se identificar se o estudo já citava XAI como uma área de pesquisa ou somente utilizava aspectos de XAI sem citar o termo diretamente. 4 Cita uso de alguma bibli- oteca de XAI? Qual? Por meio desta pergunta buscou-se identificar as tendências de uso das bibliotecas de XAI já existentes. 5 Técnica de IA desenvol- vida com explicabilidade ou explicação posterior? Conforme entendimento de Rudin (2019), as técnicas de explicabilidade aplicadas em IA po- dem ser utilizadas em dois momentos: durante o processo de execução do modelo, de forma integrada, gerando assim uma técnica desenvol- vida com explicabilidade (os chamados modelos transparentes) ou posteriormente a execução do modelo, a partir dos dados resultantes (a cha- mada explicabilidade post-hoc). 6 Qual a fonte de dados uti- lizada? Por meio desta questão se buscou identificar quais são as fontes de dados utilizadas, buscando também conhecer bases de dados que fossem públicas e pudessem ser úteis em outros estudos. 7 Faz uso de visualização da informação para obter explicabilidade? Como? Por meio desta questão, buscou-se avaliar a uti- lização do fator visual na explicação realizada, analisando os aspectos e técnicas de Visualiza- ção da Informação utilizados. 8 Houve estudo de avali- ação ou validação com usuários sobre o método de XAI? Esta pergunta identificou se houve um processo de avaliação ou validação da ferramenta desen- volvida com usuários, de forma a se obter retorno sobre as experiências de uso da XAI. Fonte: Produzida pelo autor. 3.3.4 Ferramenta Parsifal Para apoio à realização da presente revisão, foi utilizada a ferramenta online Parsifal, desenvolvida para apoiar a realização de Revisões Sistemáticas da Literatura no contexto da Engenharia de Software. Dessa forma, pesquisadores distribuídos geografi- Capítulo 3. Revisão Sistemática de Literatura 44 camente podem trabalhar em conjunto em um espaço de trabalho web compartilhado, desenvolvendo o protocolo e conduzindo a pesquisa (PARSIFAL, 2018). Esta ferramenta permite aos pesquisadores preencher todo o protocolo de uma revisão sistemática de forma facilitada. Ela possui informações sobre todas as fases presentes em uma revisão, desde o objetivo, questão de pesquisa, buscas, estratégias de seleção, critérios de inclusão e exclusão, formulário de extração até a sintetização dos resultados. 3.4 Resultados Nesta seção são apresentados os resultados obtidos ao aplicar o protocolo de revisão nas bases científicas e extrair os dados dos estudos retornados, buscando assim obter informações para serem discutidas. A síntese e sumarização das informações coletadas foram reunidas e expostas por meio de tabelas, de forma a mostrar a divisão dos estudos baseada nas perguntas que compõem o formulário de extração. Sempre que possível foram utilizados gráficos e recursos visuais para exposição da informação, utilizando as boas práticas de visualização, de modo a facilitar a compreensão dos dados. 3.4.1 Condução Na Figura 6 pode-se observados em detalhes a evolução da revisão executada. Capítulo 3. Revisão Sistemática de Literatura 45 Figura 6 – Diagrama mostrando as etapas da revisão sistemática de literatura. Busca Automatizada 1º Passo: foram identificados e organizados os estudos recuperados das bases de dados eletrônicas 2º Passo: removidos os estudos duplicados usando a ferramenta Parsifal 3º Passo: análise dos títulos e resumos dos estudos e exclusão daqueles que não atendiam aos critérios de inclusão. Se não houvesse informações suficientes, o estudo era mantido para o próximo passo. 4º Passo: os textos completos dos estudos selecionados no Passo 3 foram recuperados e revisados e aqueles que atendiam os critérios de inclusão foram selecionados e tiveram os dados extraídos ACM Digital Library 60 estudos IEEE Digital Library 1 estudo ISI Web of Science 6 estudos Science@Direct 0 estudos Scopus 13 estudos 80 estudos identificados 73 estudos únicos -7 estudos duplicados 16 estudos selecionados -57 estudos não selecionados 9 estudos incluídos -7 estudos excluídos 21 - Falta de afinidade do estudo com os temas desejados 34 - Não é um artigo 2 - Revisão ou survey sobre o assunto 1 - Estudo não possui acesso liberado para a instituição 6 - Falta de afinidade do estudo com os temas desejados Fonte — Produzida pelo autor. 3.4.2 Estudos excluídos e incluídos Durante a fase de extração, 7 estudos foram excluídos, pois, mesmo após a análise inicial do título e resumo, durante a leitura completa, foi verificado que não atendiam os critérios de inclusão. Estes estudos estão listados no Apêndice B. Os dados detalhados e referências dos 9 estudos analisados e incluídos na revisão são apresentados no Apêndice A deste trabalho. As próximas seções detalham os dados obtidos após análise destes estudos. 3.4.3 Anos dos estudos Na Figura 7 pode ser observado o aumento da quantidade de estudos que tratam do tema da presente revisão no passar dos últimos 3 anos (2021, 2022 e 2023), demonstrando a relevância crescente do tema, considerando que o ano de 2024 não foi analisado de forma completa e não retornou estudos. Capítulo 3. Revisão Sistemática de Literatura 46 Figura 7 – Gráfico mostrando a evolução da quantidade de estudos durante os anos. 0 2 4 6 2018 2019 2020 2021 2022 2023 Fonte — Produzida pelo autor. 3.4.4 Objetivos dos estudos Por meio da Questão 2 apresentada na Tabela 2, "Qual o objetivo?", buscou-se identificar a principal motivação que levou ao desenvolvimento de cada estudo. Para melhor organização dos dados, os estudos com objetivos semelhantes foram agrupados em categorias. A Tabela 3 representa a divisão por categorias de objetivo. Tabela 3 – Categorias de objetivos dos estudos. Categoria Estudos Avaliação da evolução, prognóstico e desfecho clínico dos pacientes 5 Avaliação das sessões de reabilitação, considerando dados de movimento 4 Fonte: Produzida pelo autor. Pode-se observar que a maioria dos estudos (5) tem como objetivo "Avaliação da evolução, prognóstico e desfecho clínico dos pacientes", nesta categoria de objetivos foram agrupados os estudos, que em sua maioria através de dados clínicos, buscaram avaliar o processo de recuperação e a evolução do paciente que sofreu AVC ou alguma outra doença com sintomas neuromotores e foi submetido a tratamentos de reabilitação, a avaliação com método de IA permite a predição com certo grau de certeza do estado futuro do paciente de acordo com sua situação clínica e de como ela se altera. Já os demais artigos (4) buscam de formas diversas avaliar os movimentos exe- Capítulo 3. Revisão Sistemática de Literatura 47 cutados durantes as sessões de reabilitação e as respostas musculares do paciente, estes estudos foram agrupados na categoria "Avaliação das sessões de reabilitação, considerando dados de movimento". 3.4.5 Uso da expressão XAI Para compreender o alcance do termo XAI e o crescimento da área de pesquisa, buscou-se através da Questão 3 da Tabela 2 avaliar se os estudos analisados usavam de forma direta o termo XAI, o resultado pode ser observado na Tabela 4. Tabela 4 – Presença da expressão XAI. Cita diretamente uso de XAI Estudos Sim 8 Não 1 Fonte: Produzida pelo autor. A quase totalidade dos artigos (8) cita o uso de Inteligência Artificial com aspectos de Explicabilidade, Interpretabilidade, Transparência, citando diretamente inclusive a expressão XAI. 3.4.6 Bibliotecas de apoio A Questão 4 da Tabela 2 buscou identificar a utilização de bibliotecas que im- plementavam métodos de XAI para facilitar a utilização. Diversos estudos citaram a utilização de bibliotecas já existentes para uso de XAI, como a LIME (RIBEIRO; SINGH; GUESTRIN, 2016) e a SHAP (LUNDBERG; LEE, 2017), entre outras. Na Tabela 5 podem ser verificadas as quantidades de estudos que citaram uso de bibliotecas e na Tabela 6 detalha as bibliotecas citadas e o número de citações. Tabela 5 – Uso das bibliotecas. Cita uso de alguma biblioteca XAI Estudos Sim 7 Não 2 Fonte: Produzida pelo autor. Capítulo 3. Revisão Sistemática de Literatura 48 Tabela 6 – Bibliotecas citadas. Bibliotecas Estudos SHapley Additive exPlanations (SHAP) 5 Local Interpretable Model-agnostic Explanations (LIME) 1 Accumulated local effects (ALE) 1 Permutation Feature Importance (PFI) 1 Random forest feature importance (RFI) 1 Grad-CAM 1 Fonte: Produzida pelo autor. Pode ser observada a quantidade relevante (7) de pesquisas que utilizam de alguma forma bibliotecas no uso de XAI, para obter um ganho de velocidade utilizando soluções já implementadas, ao invés de se optar por realizar todo desenvolvimento, sem nenhum tipo de apoio. Métodos independentes de modelo, como SHAP, acabam por ser amplamente utilizados, pois, atendem oferecendo explicabilidade nas mais diversas situações, sejam para tratamento de dados tabulares, textos e imagens, inclusive para modelos de aprendizado profundo (ARRIETA et al., 2020). 3.4.7 Momento de geração da explicação Por meio da Questão 5 apresentada na Tabela 2, buscou-se identificar o momento de geração da explicação, podendo ela ser uma explicação posterior, utilizando dados de entrada e saída do modelo ou durante a execução do modelo de IA, se integrando ao modelo e tornando-o transparente. A quantidade de estudos que demonstraram utilizar explicação posterior (8) mostra a opção por se utilizar os métodos de IA já consolidados e posteriormente agregar explicabilidade a eles, para acelerar o processo de desenvolvimento. A questão não se aplicou a um estudo por conta do mesmo não citar explicabilidade diretamente. Essa prevalência pode ser visualizada também na Tabela 7. Tabela 7 – Estudos separados por momento de geração da explicabilidade. Momento de geração da explicabilidade Estudos Explicação posterior 8 Técnica desenvolvida com explicabilidade 0 Não se aplica 1 Fonte: Produzida pelo autor. 3.4.8 Fontes de dados Através da Questão 6 da Tabela 2, examinou-se os conjuntos de dados utilizadas em cada estudo. Todos os estudos analisados indicam a coleta de dados e produção do Capítulo 3. Revisão Sistemática de Literatura 49 seu próprio conjunto de dados, com pacientes que sofreram AVC ou outras doenças com sintomas neuromotores e que estavam passando pelo processo de reabilitação nos mais diversos locais. Isso demonstra a escassez de dados abertos e a opção pela coleta de dados da maneira desejada, mais adequada para cada estudo. 3.4.9 Visualização da informação Por meio da Questão 7 apresentada na Tabela 2, buscou-se identificar o uso de visualização da informação no processo de explicabilidade, permitindo o aumento da compreensão sobre o funcionamento do método de IA por meio de representações visuais. Os gráficos utilizados são na maioria dos estudos (6) provenientes das bibliotecas de XAI utilizadas em cada estudo. Dos demais estudos, parte (2) utilizam um método de visualização próprio e um estudo não apresenta visualização sendo utilizada para explicabilidade, estes dados podem ser observados também na Tabela 8. Tabela 8 – Métodos de visualização citados. Faz uso de visualização da informação para obter explicabilidade? Estudos Sim, proveniente da biblioteca XAI utilizada 6 Sim, com representações próprias 2 Não 1 Fonte: Produzida pelo autor. 3.4.10 Avaliação ou validação com usuários Conforme a Questão 8 apresentada na Tabela 2, buscou-se identificar se o estudo analisado descrevia a realização de um processo de avaliação ou validação da técnica de explicabilidade proposta com usuários, por meio de testes, entrevistas ou formulários de avaliação, buscando assim garantir os resultados positivos da proposta com relação à facilidade de compreensão e uso. Nenhum estudo demonstrou ter realizado um processo como o desejado. Ainda que o processo de teste com usuários seja bastante trabalhoso, a falta dele enfraquece as conclusões propostas. 3.4.11 Estudos secundários Nesta seção serão apresentados os estudos excluídos, por já proporem uma revisão anterior relacionada ao assunto. Estes estudos podem ser chamados de estudos secundários ou comparativos e apresentam uma boa base para continuidade de pesquisas relacionadas ao presente tema. A seguir podem ser vistos os títulos dos 2 estudos secundários identificados e uma breve descrição do seu objetivo. Capítulo 3. Revisão Sistemática de Literatura 50 • Wearable Interactions for Users with Motor Impairments: Systematic Review, Inven- tory, and Research Implications: revisão sistemática da literatura sobre interações vestíveis para usuários com deficiências motoras, fez a meta-análise de 57 artigos cien- tíficos identificados nas bases de dados ACM DL e IEEE Xplore. (SIEAN; VATAVU, 2021); • Intelligent Robotics in Pediatric Cooperative Neurorehabilitation: A Review: busca fornecer uma visão abrangente do cenário em evolução da robótica orientada por IA na neurorreabilitação pediátrica. (TSUR; ELKANA, 2024); 3.5 Discussão Na presente seção são discutidos os resultados obtidos, de forma a extrair deles novas informações e tendências, expondo também a relevância e as limitações da revisão executada. 3.5.1 Tendências Para se obter informações que componham uma resposta à questão de pesquisa principal apresentada, "Como se usa XAI na reabilitação neuromotora?", serão abordadas as questões de pesquisa secundárias, apresentando informações obtidas que representem uma resposta para cada uma delas. • Quais são as soluções de Inteligência Artificial Explicável (técnicas ou métodos) já existentes em uso na reabilitação neuromotora? Foi possível ave- riguar que existe uma diversidade de técnicas, muitas delas baseadas em bibliotecas, com destaque para a biblioteca SHAP, porém, com diferentes abordagens e métodos. A utilização de bibliotecas para apoio indicou um ponto de partida interessante para continuidade do projeto, buscando compreender como pode ser definido um padrão de trabalho na área de pesquisa, que ainda é muito recente. Como relação a integração das ferramentas de XAI às soluções de IA, a explicação posterior foi fortemente citada, indicando que tende a ser mais eficiente utilizar os métodos de IA mais comuns, ainda que sem aspectos de explicabilidade e depois adicioná-los utilizando ferramentas adequadas; • Quais os recursos visuais utilizados por essas soluções de XAI na reabili- tação neuromotora? Analisando o uso de recursos visuais e da Visualização da Informação, pode-se constatar que a maioria dos estudos utiliza as visualizações e gráficos fornecidos pelas bibliotecas de explicabilidade. São poucos os estudos que se propõe a criar suas próprias visualizações, gerando novas metáforas visuais, de Capítulo 3. Revisão Sistemática de Literatura 51 forma mais adequada ao contexto de utilização da XAI, em especial no apoio da reabilitação; • Quais são as fontes de dados utilizadas para aplicar a XAI na reabilitação neuromotora? Todos os estudos avaliados indicam a coleta de dados e a criação de conjuntos de dados próprios, indicando a necessidade de alinhamento com profissionais da área de reabilitação para acesso adequado aos dados no que diz respeito a aspectos éticos. Não houve menção ao uso de dados públicos disponíveis de forma aberta; e • Quão maduras são essas soluções de XAI na reabilitação neuromotora? Por meio da informação dos anos de publicação dos estudos, pode-se constatar que tratam de uma área nova, ainda em expansão, que vem ganhando força com o passar dos anos, oferecendo diversas oportunidades de pesquisa. Entretanto, foi averiguado que muitos estudos não apresentam a avaliação das técnicas e ferramentas com usuários reais no que diz respeito a avaliação da explicabilidade, se restringindo a testes simulados e opiniões pouco formalizadas. Isso demonstra que existe um espaço para evolução, ainda que o processo de avaliação com usuários seja um processo complexo, que demanda um esforço considerável. 3.5.2 Descrição dos estudos Na presente seção, serão apresentadas descrições breves sobre cada um dos estudos incluídos na revisão. A Transferable Deep Learning Prognosis Model for Predicting StrokePatients’ Recovery in Different Rehabilitation Trainings (LIN et al., 2022): estudo avalia o prognóstico de 15 pacientes sobreviventes de AVC antes e depois de diversos tratamentos, através de dados clínicos e fisiológicos coletados. An Interpretable Deep Learning Optimized Wearable Daily Detection System for Parkinson’s Disease (CHEN et al., 2023): estudo busca detectar e avaliar caminhada do paciente com doença de Parkinson, através dos dados de 100 indivíduos utilizando cinco unidades de medição inercial fixadas no pulso, tornozelo e cintura são usadas para coletar dados de movimento dos indivíduos durante um teste de caminhada de 10 metros. Cross-validation of predictive models for functional recovery after post-stroke rehabilitation (CAMPAGNINI et al., 2022): estudo analisa a contribuição de cada fator prognóstico na alta após reabilitação intensiva pós-AVC em 278 pacientes, utilizando técnicas de validação cruzada. EEG fractal dimensions predict high-level behavioral responses in minimally conscious patients (LIUZZI et al., 2023): estudo analisa registos de eletroencefalograma, um exame não invasivo que mede a atividade elétrica do cérebro e regista os padrões de Capítulo 3. Revisão Sistemática de Literatura 52 ondas cerebrais, para classificação de estado de 68 paciente com estado de consciência mínima. eXplainable AI Allows Predicting Upper Limb Rehabilitation Outcomes in Sub- Acute Stroke Patients (GANDOLFI et al., 2023): estudo busca prever as pontuações (escores) finais de recuperação funcional após reabilitação de membros superiores uti- lizando um grupo de 95 pacientes pós-AVC subagudo internados em uma Unidade de Neurorreabilitação entre janeiro de 2018 e outubro de 2020. Factors influencing neuromuscular responses to gait training with a robotic ankle exoskeleton in cerebral palsy (CONNER et al., 2023) : estudo busca identificar fatores que influenciam as respostas neuromusculares a uso de um exoesqueleto resistivo de tornozelo em indivíduos com paralisia cerebral, são feitas sessões de exércicios com os pacientes utilizando o exoesqueleto e posterior avaliação dos movimentos. Implementation of eXplainable Artificial Intelligence Case Study on theAssessment of Movements to Support Neuromotor Rehabilitation (CAMARGO; DIAS; BREGA, 2023): estudo aplica XAI em dados de classificação de movimentos, para apoio a reabilitação neuromotora, utilizando banco de dados próprio, produzido por grupo de pesquisa e um avatar para demonstração das coordenadas e dos movimentos. Predicting outcome of patients with prolonged disorders of consciousnessusing machine learning models based on medical complexity (LIUZZI et al., 2022): estudo investiga o impacto das complicações médicas na predição do desfecho clínico, para isso utiliza dados de um grupo de 176 pacientes com desordem prolongada de consciência inscritos em um projeto multicêntrico. Upper Limb Motion Tracking and Classification: A Smartphone Approach (RODRI- GUES et al., 2021): estudo busca capturar, transformar e classificar dados de movimentos capturados com câmera RGB de smartphone com aprendizado de máquina, utilizando rastreamento corporal e estimativa de pose. 3.5.3 Relevância do estudo O presente estudo pode ser considerado relevante por conta da confiabilidade apre- sentada pelos dados coletados, da robustez da metodologia utilizada e do cuidado aplicado, levando a resultados concretos e verificáveis, afastando-se de informações subjetivas. Isso foi obtido após diversas buscas prévias, com uma variedade de strings de busca, para se realizar uma busca focada que retornasse estudos relevantes para o tema em questão. 3.5.4 Limitações do estudo Como ponto de limitação, pode ser citado a restrição do método de busca auto- matizado utilizado, não recorrendo a buscas manuais ou outras formas de pesquisa. Pode Capítulo 3. Revisão Sistemática de Literatura 53 ser apontado como limitante também a questão da falta da informação de forma clara em muitos estudos, não informando os nomes das ferramentas desenvolvidas, entre outras informações faltantes ou não tão claras. 3.6 Considerações finais do capítulo Este capítulo investigou a área de pesquisa do Uso XAI na Reabilitação Neuromo- tora por meio da execução de uma RSL que foi realizada em diversas bases de dados e que, depois das devidas fases de seleção, resultou na inclusão e análise de 9 estudos primários. A presente revisão contribuiu mostrando tendências que contribuem no processo de construção e uso de uma ferramenta de XAI como apoio na reabilitação neuromotora, as possibilidades de explicação posterior ao processo de aprendizado, a utilização de Visualização da Informação e a possibilidade de realização de testes com usuários para avaliação da XAI. Com base nos resultados obtidos e discutidos neste capítulo do trabalho, foi dada continuidade no estudo, considerando o uso de bibliotecas para uso de XAI e a possibilidade de aplicação das técnicas apoiando o uso de IA na classificação de movimentos terapêuticos na reabilitação. No próximo capítulo, são detalhadas e avaliadas algumas ferramentas de XAI disponíveis para uso. 54 4 Ferramentas de Inteligência Artificial Expli- cável 4.1 Considerações iniciais do capítulo Neste capítulo estão apresentadas algumas ferramentas que buscam permitir o uso de explicabilidade nos métodos de IA. Uma vez que a explicabilidade provida por essas ferramentas é adicionada aos pipelines de IA, serão tratados métodos que em sua maioria utilizam a chamada explicabilidade posterior ou post-hoc, utilizando os dados de entrada e saída do modelo e não necessitando de um conhecimento interno tão profundo deste, sendo assim agnósticas, também chamadas de Model-agnostic. 4.2 Frameworks, bibliotecas e métodos Uma diferenciação complexa, que acaba por ainda não ser muito clara e defi- nida, porém que necessita ser considerada é a questão d