Otimização Meta-Heurística para Regularização de Modelos de Aprendizado em Profundidade

Abstract

Arquiteturas de aprendizado em profundidade têm sido amplamente estudadas nos últimos anos, principalmente pelo seu alto poder discriminativo em muitos problemas considerados essenciais na área de visão computacional. Entretanto, um problema destes modelos diz res- peito ao grande número de parâmetros a serem ajustados, que podem chegar a milhares. Um outro ponto crítico está relacionado à necessidade de grandes bases de dados para treinar essas técnicas de aprendizado em profundidade, bem como a sua alta propensão ao chamado super-ajuste dos dados. Recentemente, a simplista ideia de desconectar neurônios ou conexões de uma rede, técnicas denominadas de Dropout e Dropconnect, respectivamente, tem se demonstrado muito eficazes e primordiais ao processo de aprendizado, embora ainda necessitem de uma escolha adequada de parâmetros. O presente projeto pretende identificar possíveis soluções para o problema mencionado por meio de técnicas de otimização meta-heurística, objetivando encontrar o número adequado do limiar de desligamento dos neurônios e conexões. Diferentes abordagens de aprendizado em profundidade, tais como, Máquinas de Boltzmann Restritas, Máquinas de Boltzmann em Profundidade, Redes de Crença em Profundidade, Redes Neurais Convolucionais; e diferentes meta-heurísticas, tais como, Algoritmo do Morcego, Algoritmo do Vagalume, Busca do Cuckoo, Otimização por Enxame de Partículas, foram utilizadas a fim de tentar solucionar este problema. Os resultados apresentados indicam uma possível tendência em utilizar a otimização meta-heurística para encontrar parâmetros mais adequados, os quais, consequentemente, auxiliam no processo de aprendizado e melhoria da arquitetura neural.

Deep learning architectures have been extensively studied in the last years, mainly due to their discriminative power in many crucial problems in computer vision. However, one problem related to these models concerns with their number of parameters, which can easily reach thousands of hundreds. Another drawback is related to the need for large datasets for train- ing purposes, as well as their high probability of overfitting, mainly because of their complex architecture. Recently, a naïve idea of disconnecting neurones or connections from a network, known as Dropout or Dropconnect, respectively, has shown to be a promising solution to this problem. Nevertheless, it still requires an adequate parameter setting. This project aims to iden- tify possible solutions to the depicted problem by means of meta-heuristic optimization, trying to find the most suitable drop rate. Several machine learning approaches, such as, Restricted Boltzmann Machines, Deep Boltzmann Machines, Deep Belief Networks, Convolutional Neural Networks and several meta-heuristic techniques, such as, Particle Swarm Optimization, Bat Algorithm, Firefly Algorithm, Cuckoo Search, were employed in the context. The presented results show a possible trend in using meta-heuristic optimization to find suitable parameters in a wide range of applications, helping the learning process and improving the network’s architecture.