Transferring human movements from videos to robots with Deep Reinforcement Learning

Abstract

The study of humanoid robots in the field of robotics has grown in recent decades in the direction of developing robots able to support humans in many applications. The evolution of machine learning techniques, particularly the Rein- forcement Learning (RL) approach, expanded the robotics domains to many new applications, based on the strategy to reinforce the agent through its interactions with the environment. Deep Reinforcement Learning (DRL) came to improve the RL technique allowing the application of robotics in highly complex task and scenarios. However, this ap- proach is well known for two major disadvantages: i) its high computational cost; ii) the difficulty in training the robot to achieving particular policies that are usually very difficult to model. Recently, RL approaches based on the imitation of reference movements have emerged in the robotics scenario. The learning process in this approach is based on the strategy of observing a reference movement policy from an expert and transfer it to the real robot with the maximum possible fidelity using DRL. In order to investigate this complex scenario, this work proposes an imitation process with three phases: i) the poses estimation of a human expert based on a video of this human performing a particular tasks; ii) the generation of reference motion trajectories to a robot; iii) the robot’s training in a simulated environment based on DRL technique to adapt and improve the reference movements to the new body scheme and dynamics of the robot. The investigation conducted with the Marta robot in a complex simulated environment showed that the imitation-based technique is able to make the robot kick a ball an average distance of 1m from YouTube videos.

O estudo de robôs humanoides no campo da robótica cresceu nas últimas décadas na direção do desenvolvimento de robôs capazes de dar suporte aos humanos em muitas aplicações. A evolução das técnicas de aprendizado de máquina, particularmente a abordagem Aprendizagem por Reforço (RL), ampliou os domínios da robótica para muitas novas aplicações, com base na estratégia de reforçar o agente mediante suas interações com o ambiente. A Aprendizagem por Reforço Profundo (DRL) veio para melhorar a técnica RL permitindo a aplicação da robótica em cenários de tarefas altamente complexas. No entanto, esta abordagem é bem conhecida por duas grandes desvantagens: i) seu alto custo computacional; ii) a dificuldade em treinar o robô de forma a atingir políticas específicas que são usualmente muito difíceis de modelar. Recentemente, abordagens RL baseadas na imitação de movimentos de referência surgiram no cenário robótico. O processo de aprendizagem nesta abordagem é baseado na estratégia de observar uma política de movimentos de referência de um especialista e transferi-la para o robô real com a máxima fidelidade possível usando DRL. Para investigar este cenário complexo, este trabalho apresenta um processo de imitação em três fases: i) a estimativa da postura dos especialistas humanos com base em uma coleção de vídeos destes humanos executando tarefas particulares; ii) a geração de trajetórias de movimentos de referência para um robô; iii) o treinamento do robô baseado em técnicas de DRL capazes de adaptar os movimentos de referência para o esquema e dinâmica corporal do robô. A investigação realizada com a robô Marta em um ambiente de simulação complexo mostrou que a técnica baseada em imitação é capaz de fazê-la chutar uma bola a uma distância média de 1m a patir de vídeos disponíveis no YouTube.