Transdução para indução: aprendizado profundo de representações em cenários não supervisionados com base em informações de listas ranqueadas

Abstract

Recentemente, o uso de aprendizado profundo em cenários supervisionados consolidou-se significativamente. No entanto, há um crescente interesse em explorar métodos de aprendizado não supervisionado. Abordagens transdutivas são promissoras para aprender relações contextuais ricas em cenários não supervisionados, mas enfrentam desafios ao lidar com grandes quantidades de dados. O objetivo central deste estudo é investigar a viabilidade de um modelo indutivo baseado em Redes Perceptron Multicamadas (MLP) aprender a partir de listas ranqueadas geradas por métodos transdutivos em cenários não supervisionados. Foi proposto uma metodologia chamada IRL (Inductive Ranking Learning), que utiliza técnicas para aprender similaridades e dissimilaridades de pares obtidos de listas ranqueadas obtidas com métodos transdutivos. A técnica consiste em ponderar os elementos mais relevantes e irrelevantes para o cálculo do erro dos prováveis pares positivos e negativos, de acordo com a posição que o elemento está na lista ranqueada do seu respectivo par, permitindo o aprendizado sem rótulos. A abordagem proposta possibilita a utilização de técnicas transdutivas para treinar modelos indutivos, promovendo a escalabilidade e o uso dessas técnicas em diversas tarefas, representando um grande potencial para o aprendizado não supervisionado.

Recently, the use of deep learning in supervised scenarios has significantly consolidated. However, there is a growing interest in exploring unsupervised learning methods. Transductive approaches are promising for learning rich contextual relationships in unsupervised scenarios but face challenges when dealing with large amounts of data. The main objective of this study is to investigate the feasibility of an inductive model based on Multilayer Perceptron (MLP) networks learning from ranked lists generated by transductive methods in unsupervised scenarios. A methodology called IRL (Inductive Ranking Learning) is proposed, which utilizes techniques to learn similarities and dissimilarities of pairs obtained from ranked lists by transductive methods. The technique involves weighting the most relevant and irrelevant elements to calculate the error of likely positive and negative pairs, according to the element's position in the ranked list of its respective pair, enabling label-free learning. The proposed approach facilitates the use of transductive techniques to train inductive models, promoting scalability and the use of these techniques in various tasks, representing great potential for unsupervised learning.