Aprendizado não supervisionado para recuperação multimídia multimodal

Página do item simplificado
dc.contributor.advisorPedronette, Daniel Carlos Guimarães [UNESP]
dc.contributor.authorAlmeida, Lucas Barbosa de
dc.contributor.institutionUniversidade Estadual Paulista (Unesp)
dc.date.accessioned2022-05-13T17:12:14Z
dc.date.available2022-05-13T17:12:14Z
dc.date.issued2022-03-30
dc.description.abstractDado o crescimento vertiginoso de coleções multimídia, sejam vídeos, áudios ou imagens e a carência de dados rotulados, torna-se fundamental investigar abordagens não supervisionadas de recuperação de informação baseada no conteúdo. Considerando que informações de diferentes modalidades ou representações de um mesmo objeto tendem a ser complementares, é imprescindível explorar múltiplas modalidades no processo de recuperação de informação. Contudo, ao utilizar informações de modalidades distintas, depara-se com o desafio de como combinar as informações dessas diferentes fontes. No contexto dessa dissertação, serão investigadas abordagens de combinação utilizando múltiplos ranqueamentos por meio de métodos de aprendizado não supervisionado. De modo geral, tais métodos exploram relações contextuais entre os objetos, geralmente codificadas nas informações de similaridade das coleções, sem requerer dados rotulados ou intervenção de usuários. Além disso, foram consideradas abordagens recentes de redes convolucionais baseadas em grafos (\textit{Graph Convolutional Networks} - GCNs). O treinamento de GCNs é tradicionalmente realizado de modo que cada nó se comunica com sua vizinhança, incorporando a si informações dos nós aos quais apresenta conexões no grafo. Neste trabalho, combinamos a capacidade de métodos de aprendizado não supervisionado em explorar a geometria do conjunto de dados e definir uma medida contextual de distância com a capacidade de GCNs de criar uma representação mais eficaz de cada instância para aprimorar os resultados de recuperação de vídeos em cenários não supervisionados e multimodais. Deste modo, o trabalho apresenta um levantamento bibliográfico, discute métodos de extração de características em diferentes modalidades, e apresenta propostas de métodos para recuperação multimídia capazes de combinar as informações de diferentes modalidades em dois cenários distintos. No primeiro cenário, são propostas diferentes abordagens para recuperação de vídeos considerando informações de diferentes modalidades (imagens, áudios e vídeos) e utilizando técnicas de aprendizado não supervisionado baseadas em ranqueamento e GCNs treinadas de modo não supervisionado. No segundo cenário, é proposto um método de aprendizado de representações para recuperação de imagens baseado na fusão de representações multimodais. A representação de cada imagem é obtida através de características extraídas de uma sequência composta de sua $k$-vizinhança mais próxima, também utilizando técnicas de aprendizado não supervisionado.pt
dc.description.abstractGiven the rapid growth of multimedia collections, whether videos, audios or images, and the lack of labeled data, it is essential to investigate unsupervised approaches to content-based information retrieval. Considering that information from different modalities or representations of the same object tend to be complementary, it is essential to explore multiple modalities in the information retrieval process. However, when using information from different modalities, one is faced with the challenge of how to combine information from these different sources. In the context of this dissertation, combination approaches using multiple rankings through unsupervised learning methods will be investigated. In general, such methods explore contextual relationships between objects, usually encoded in the similarity information of the collections, without requiring labeled data or user intervention. Furthermore, recent approaches to graph-based convolutional networks (\textit{Graph Convolutional Networks} - GCNs) were considered. The training of GCNs is traditionally performed so that each node communicates with its neighborhood, incorporating information from the nodes to which it has connections in the graph. In this work, we combine the ability of unsupervised learning methods to explore the geometry of the dataset and define a contextual measure of distance with the ability of GCNs to create a more effective representation of each instance to improve video retrieval results in unsupervised and multimodal scenarios. In this way, the work presents a bibliographic survey, discusses methods for extracting features in different modalities, and presents proposals for methods for multimedia retrieval capable of combining information from different modalities in two different scenarios. In the first scenario, different approaches are proposed for video retrieval considering information from different modalities (images, audios and videos) and using unsupervised learning techniques based on ranking and unsupervised trained GCNs. In the second scenario, a representation learning method for image retrieval based on the fusion of multimodal representations is proposed. The representation of each image is obtained through features extracted from a sequence composed of its nearest $k$-neighborhood, also using unsupervised learning techniques.en
dc.description.sponsorshipFundação de Amparo à Pesquisa do Estado de São Paulo (FAPESP)
dc.description.sponsorshipIdFAPESP: 2020/03311-0.
dc.identifier.capes33004153073P2
dc.identifier.urihttp://hdl.handle.net/11449/234709
dc.language.isopor
dc.publisherUniversidade Estadual Paulista (Unesp)
dc.rights.accessRightsAcesso aberto
dc.subjectAprendizado de máquinapt
dc.subjectRecuperação multimídia por conteúdopt
dc.subjectRecuperação multimodal de informaçõespt
dc.subjectAprendizado não supervisionadopt
dc.subjectDeep graph infomaxpt
dc.subjectRedes convolucionais baseadas em grafospt
dc.subjectAprendizado de representaçõespt
dc.subjectUnsupervised learningen
dc.subjectMultimedia content retrievalen
dc.subjectMultimodal information retrievalen
dc.subjectRepresentation learningen
dc.subjectGraph convolutional networksen
dc.titleAprendizado não supervisionado para recuperação multimídia multimodalpt
dc.title.alternativeUnsupervised learning for multimodal multimedia retrievalen
dc.typeDissertação de mestrado
unesp.campusUniversidade Estadual Paulista (Unesp), Instituto de Geociências e Ciências Exatas, Rio Claropt
unesp.embargoOnlinept
unesp.examinationboard.typeBanca públicapt
unesp.graduateProgramCiência da Computação - IGCEpt
unesp.knowledgeAreaComputação aplicadapt
unesp.researchAreaInteligência Computacionalpt

Arquivos

Pacote Original
Agora exibindo 1 - 1 de 1
Imagem de Miniatura
Nome:
almeida_lb_me_rcla.pdf
Tamanho:
15.01 MB
Formato:
Adobe Portable Document Format
Descrição:
Baixar
Licença do Pacote
Agora exibindo 1 - 1 de 1
Nenhuma Miniatura disponível
Nome:
license.txt
Tamanho:
2.97 KB
Formato:
Item-specific license agreed upon to submission
Descrição:

Coleções

Instituto de Geociências e Ciências Exatas, Rio Claro