Toward interpretable and hierarchical methods for dimensionality reduction

Abstract

Análise Exploratória de Dados (EDA) é uma ferramenta valiosa para descobrir novos insights a partir de dados de alta dimensão. Os procedimentos de EDA ajudam cientistas e profissionais a entender a relação entre instâncias de dados e estruturas usando metáforas visuais que enfatizam informações sobre o objetivo da análise. Amplamente empregadas para análise exploratória, técnicas de Redução de Dimensionalidade mapeiam o relacionamento presente em espaços de alta dimensão para espaços de dimensão menor, normalmente no R2, e permitem descobertas científicas que vão do entendimento do comportamento de redes neurais à anotação de tipos celulares. Esta tese apresenta um conjunto de abordagens para extender o poder de análise utilizando técnicas de Redução de Dimensionalidade, com o objetivo principal de ajudar no entendimento dos embeddings gerados por técnicas não-lineares, além do estabelecimento de abordagens de exploração hierárquica para análise de acordo com a demanda de informações. Tais abordagens foram resultados das seguintes atividades de pesquisa principais: (i) seleção de representativos no espaço visual com preservação do contexto e estruturas mapeadas; (ii) técnicas para análise de clustering utilizando contrastividade, permitindo o entendimento das diferenças entre instâncias de dados para a formação de clusters; (iii) explicação de forma aditiva do layout gerado por técnicas não lineares; (iv) técnica de redução hierárquica de dimensionalidade para análise granular de conjuntos de dados, que permite a preservação das estruturas entre níveis hierárquicos.

Exploratory Data Analysis (EDA) is a valuable tool for discovering new insights from high-dimensional data. EDA procedures help scientists and practitioners understand the relationship between data instances and structures using visual metaphors that emphasize information about the purpose of analysis. Widely used for exploratory analysis, Dimensionality Reduction techniques map the relationship present in high-dimensional spaces to smaller-dimensional spaces, usually in R2, and allow scientific discoveries that range from understanding the behavior of neural networks to the annotation of cell types. This thesis presents a set of approaches to extend the power of analysis using Dimensionality Reduction techniques, with the main objective of helping to understand the embeddings generated by non-linear techniques, in addition to establishing hierarchical exploration approaches for analysis according to the demand for information. Such approaches were the result of the following main research activities: (i) selection of representatives in the visual space with preservation of the context and mapped structures; (ii) techniques for analyzing clustering using contrastivity, allowing the understanding of differences between data instances for the formation of clusters; (iii) additive explanation of the layout generated by non-linear techniques; (iv) hierarchical dimensionality reduction technique for granular analysis of datasets, which allows the preservation of structures between hierarchical levels.