Aprendizado não supervisionado baseado em ranqueamento e aprendizado profundo em domínios diversos

Abstract

Em geral, os sistemas de recuperação de imagens realizam comparações considerando apenas pares de imagens e acabam por não levar em consideração as informações codificadas nas relações entre as imagens. A fim de ir além das medidas que consideram apenas a análise de pares, vários métodos têm sido propostos com o objetivo de aumentar a eficácia das tarefas de recuperação sem a necessidade da intervenção do usuário. Tais métodos não supervisionados visam substituir semelhancas entre pares de imagens por medidas globalmente definidas, capazes de analisar coleções, em termos do coletor de dados subjacente, ou seja, no contexto de outros objetos. Nos últimos anos, abordagens diversificadas foram exploradas por tais metodologias de pós-processamento para tarefas de recuperação. Dentre eles, podem-se destacar duas categorias muito representativas dos métodos existentes: processos de difusão e abordagens baseadas em ranqueamento. Ambas as estratégias, de difusão e baseadas em ranqueamento, alcançaram melhorias muito significativas no desempenho da recuperação. No entanto, métodos baseados em difusão frequentemente requerem altos esforços computacionais, principalmente devido à alta complexidade assintoticamente associada aos procedimentos de multiplicação de matrizes. Por outro lado, a maioria das informações relevantes contidas nos ranked lists são colocadas nas primeiras posições, o que permite o desenvolvimento de algoritmos eficientes para as estratégias baseadas em ranqueamento. Suportadas pelos altos ganhos de eficácia obtidos e pelos baixos esforços computacionais necessários, as estratégias baseadas em ranking têm se estabelecido como uma solução promissora para o aprendizado não supervisionado em tarefas de recuperação de imagens. Nesse cenário, várias abordagens diferentes foram exploradas para modelar as informações de ranqueamento. Entre as mais representativas, tem-se: algoritmos baseados em grafos; medidas de correlação e semelhança entre conjuntos de vizinhanças. No entanto, apesar do sucesso em muitas aplicações de aprendizagem, o uso de tecnologias de aprendizagem profunda - deep learning - para recuperação de imagens não é comum na literatura. Esta pesquisa visa preencher essa lacuna, conforme discutido posteriormente. Com base nas vantagens das abordagens baseadas em classificação e nos resultados de alta precisão obtidos por tecnologias de deep learning em várias tarefas de aprendizagem, o objetivo principal do projeto de pós-doutorado é investigar a combinação de tais abordagens. Além disso, devido à flexibilidade de ambas as abordagens, uma direção de pesquisa promissora consiste na investigação de sua utilização em diversos domínios, além de cenários de recuperação de imagens. Portanto, as principais direções de pesquisa podem ser resumidas da seguinte forma: 1. O uso de abordagens baseadas em classificação em modelos de deep learning para derivar novos algoritmos de aprendizado; 2. A investigação de aplicações envolvendo Long Short Term Memory - LSTM - e técnicas de ranqueamento para classificação de imagens. Esta é uma nova abordagem, uma vez que arquiteturas como a LSTM são aplicadas comumente em análise de sentimento em textos, o que torna o cenário com imagens mais desafiador. 3. Associação das técnicas de Manifold Learning com outras arquiteturas de redes neurais para melhoria das tarefas de classificação e de recuperação. Além dos objetivos acima apontados, tornou-se possível avaliar comparativamente o impacto das associações de diferentes redes neurais, por exemplo, ResNet (Residual Neural Network), VGG (Visual Geometry Group) e DPN (Dual Path Network), no processo de extração de features, obtenção de diferentes rankings e suas implicações práticas nas tarefas de classificação em diferentes conjuntos de imagens (datasets). Esta seção apresentou de maneira sucinta o resumo do projeto. O restante deste relatório está organizado da seguinte forma. A próxima seção apresenta as realizações do separadas por período (Seção 2): de Abril de 2020 até Abril de 2022; de Abril de 2022 até Abril de 2023; de Abril de 2023 até Fevereiro de 2024. As realizações incluíram levantamentos bibliográficos com identificação de lacunas, colaborações, experimentos e detalhes das outras colaborações (Seção 2.2). Em seguida, é apresentado um dos principais resultados do projeto (Seção 3), que incluiu revisão de literatura estratégica, técnicas de ranking, LSTM e revisão bibliométrica dos artigos relacionados, seguida da visão geral do artigo desenvolvido e publicado, HyperGraph-based Manifold Ranking; Feature Augmentation; LSTM, Resultados e Contribuições; Iniciativa de Reprodutibilidade em Pesquisa. Em seguida, são explicitados outros papers resultantes diretos do projeto. Dois deles envolveram Feature Fusion (Seção 4), e outro extensivo survey foi elaborado e submetido para o journal Computer Science Review, em paralelo com todas as demais atividades desenvolvidas no projeto, pensando no estado da arte da área de investigação (Seção 5). Em seguida, são listadas as Atividades Científicas (Seção 6), a atuação como Professora Conferencista na UNESP (Seção 7), as Publicações realizadas (Seção 8) e Submetidas (Seção 8.3). Por fim, são apresentadas as cópias dos certificados de participações, trabalhos realizados, artigos e algoritmos publicados (Seção 9). A Figura 1 ilustra a visão geral do projeto relacionado a organização do relatório. Os principais eixos são ilustrados em vermelho, identificados por numerações que correspondem as mesmas subseções do relatório. É detalhado o trabalho principal na Seção 3 publicado no journal Expert Systems With Applications. As caixas em cinza representam menções aos principais subníveis e apontam para os respectivos nomes das conferências e periódicos cientéficos envolvidos, como por exemplo, a publicação no periódico Information Sciences; a publicação de algoritmos na plataforma Code Ocean, e a participação em programas de avaliação (como o Centelha).