Desenvolvimento de uma virtual test bed e digital twin para treinamento de veículos autônomos

Abstract

A crescente demanda por soluções de mobilidade urbana impulsionou o desenvolvimento de veículos autônomos como alternativa eficiente e segura. Contudo, os altos custos, riscos e tempo envolvidos em testes físicos limitam o avanço dessa tecnologia. Este trabalho propõe a criação de uma Plataforma de Testes Virtual (Virtual Test Bed) integrada a um Gêmeo Digital (Digital Twin), com o objetivo de treinar agentes de Inteligência Artificial para direção autônoma utilizando Aprendizado por Reforço Profundo (Deep Reinforcement Learning) e visualizar a evolução do treinamento. A abordagem adotada combina o motor gráfico Unity com a arquitetura Ator-Crítico (Actor-Critic) com o algoritmo de Otimização de Política Proximal (Proximal Policy Optimization – PPO), integrando a extensão Unity ML-Agents Toolkit e a biblioteca PyTorch, para o treinamento dos agentes com visualização da evolução das variáveis de treinamento no TensorBoard. O ambiente foi validado por meio da simulação de duas pistas com diferentes níveis de dificuldade e até 40 agentes simultâneos, com desempenho avaliado por métricas como recompensa cumulativa, entropia e tempo de episódio. Os resultados demonstraram aprendizado eficiente e estável dos agentes, com políticas cada vez mais otimizadas. A principal contribuição desta pesquisa é a entrega de uma plataforma acessível e reprodutível para treinamento e validação de agentes autônomos, reduzindo significativamente os riscos de testes físicos e acelerando o desenvolvimento de sistemas inteligentes aplicáveis à mobilidade urbana.

The growing demand for urban mobility solutions has driven the development of autonomous vehicles as an efficient and safe alternative. However, the high costs, risks, and time associated with physical testing limit the advancement of this technology. This work proposes the creation of a Virtual Test Bed integrated with a Digital Twin, aimed at training Artificial Intelligence agents for autonomous driving using Deep Reinforcement Learning and visualizing the training progress. The adopted approach combines the Unity game engine with the Actor-Critic architecture and the Proximal Policy Optimization algorithm, integrating the Unity ML-Agents Toolkit extension and the PyTorch library for agent training, with training variable visualization through TensorBoard. The environment was validated through the simulation of two tracks with different levels of difficulty and up to 40 simultaneous agents, with performance evaluated by metrics such as cumulative reward, entropy, and episode length. The results demonstrated efficient and stable agent learning, with increasingly optimized policies. The main contribution of this research is the delivery of an accessible and reproducible platform for training and validating autonomous agents, significantly reducing the risks of physical testing and accelerating the development of intelligent systems applicable to urban mobility.