Aprendizado por reforço assistido aplicado ao controle de robôs de acionamento diferencial

Abstract

O presente trabalho tem como objetivo o estudo e a implementação de técnicas de aprendizado profundo aplicado ao controle de robôs de acionamento diferencial. A aplicação final destinada dos modelos apresentados são os robôs da categoria IEEE Very Small Size Soccer. Diversas são as técnicas existentes para o controle de tais agentes, as quais podem ser aplicadas em diferentes escopos de controle e navegação robótica. Este trabalho busca uma rede capaz de ser aplicada ao controle local dos agentes, para este fim foi utilizada uma arquitetura que combina uma rede ator-crítico e uma rede crítica DQN auxiliada por um controlador PID. Tal arquitetura possibilita acelerar o processo de aprendizado, uma vez que o controlador clássico pode ser utilizado nas épocas iniciais evitando que o agente faça movimentos aleatórios que pouco retorno traria à rede, e a partir do momento que a política aprendida seja eficiente na locomoção do agente, essa passe a ser utilizada. Os resultados obtidos a partir do treinamento em ambiente simulado foram comparados à implementação original e apresentadas as conclusões a partir destes.

This work aims to study and implement deep learning techniques applied to the control of differential drive robots. The model of control is applied in the IEEE Very Small Size Soccer league aiming to validate the code implementation. Several frameworks to control such agents exist and they can be applied to different scopes of robotic control and navigation. This work seeks a network architecture capable of being efficiently applied in the local control of such agents, for this purpose it’s used a architecture of an actor-critic network and a critical DQN network aided by a PID controller. Such an architecture makes it possible to accelerate the learning process since the classic controller can be used in the initial stages, preventing the agent from making random movements that would bring little return to the network and, from the moment that the learned policy is efficient in the agent’s locomotion, this starts to be applied. The results obtained from training in a simulated environment are compared to the original implementation results and the conclusions are presented from these.