Uso de inteligência artificial em jogos digitais tridimensionais: aplicação de algoritmos de machine learning para movimentação de agentes

Abstract

O uso de Inteligência Artificial em ambientes virtuais tem ampliado as possibilidades de criação de agentes autônomos, mas ainda apresenta desafios quanto à definição de estratégias de treinamento que garantam aprendizado consistente e generalizável em cenários tridimensionais. Este trabalho investiga o uso de técnicas de Inteligência Artificial (IA) e Aprendizado de Máquina (Machine Learning) para treinar um agente em ambiente 3D no Unity, construído como uma pista com obstáculos e sensores de percepção. Duas abordagens foram implementadas: aprendizado por reforço (PPO via ML-Agents) e algoritmo genético controlando ações de locomoção. A avaliação considerou indicadores como taxa de sucesso, waypoints alcançados, distância ao objetivo, colisões e passos por episódio. Observou-se que ajustes finos em recompensas, hiperparâmetros e sensores impactam fortemente a estabilidade do aprendizado e a capacidade de generalização. Como contribuição, o trabalho apresenta um panorama prático das escolhas de projeto que mais influenciam o treinamento de agentes com aprendizado por reforço e algoritmos genéticos em cenários 3D, oferecendo diretrizes úteis para configurações mais estáveis e comportamentos mais consistentes no desenvolvimento de jogos 3D utilizando a engine Unity.

The use of Artificial Intelligence in virtual environments has expanded the possibilities for creating autonomous agents but still poses challenges regarding the definition of training strategies that ensure consistent and generalizable learning in three-dimensional scenarios. This work investigates the use of Artificial Intelligence (AI) and Machine Learning (ML) techniques to train an agent in a 3D Unity environment, designed as a track with obstacles and perception sensors. Two approaches were implemented: reinforcement learning (PPO via ML-Agents) and a genetic algorithm controlling locomotion actions. The evaluation considered indicators such as success rate, waypoints reached, distance to the goal, collisions, and steps per episode. It was observed that fine adjustments in rewards, hyperparameters, and sensors strongly impact the stability of learning and the ability to generalize. As a contribution, this work presents a practical overview of the design choices that most influence the training of agents with reinforcement learning and genetic algorithms in 3D scenarios, providing useful guidelines for achieving more stable configurations and more consistent behaviors in the development of 3D games using the Unity engine.