Aplicação de machine learning para previsão e otimização de ciclos semafóricos em simulações urbanas com o SUMO

Abstract

O crescimento acelerado do tráfego urbano intensificou os congestionamentos, tornando o controle semafórico um tema central para a mobilidade e para a mitigação de impactos ambientais e sociais. Entre as técnicas promissoras, destaca-se o aprendizado por reforço profundo, em especial o Deep Q-Learning (DQL), capaz de lidar com cenários dinâmicos de forma adaptativa. Este trabalho, de natureza aplicada, teve como objetivo avaliar o desempenho de diferentes modelos de controle semafórico, comparando métodos tradicionais baseados em tempo fixo e Q-Table com variantes do DQL, incluindo os esquemas Multi-Label e One-Label. A metodologia envolveu uma revisão bibliográfica dos últimos cinco anos, a fim de contextualizar o estado da arte, e a realização de simulações no software SUMO, que permitiram modelar de forma realista dois semáforos próximos em vias com fluxos distintos. Os resultados demonstraram que o modelo DQL Multi-Label apresentou o melhor desempenho global, superando tanto os métodos tradicionais quanto outros modelos de aprendizado por reforço em termos de estabilidade, robustez e adaptabilidade. Uma contribuição importante foi a formulação diferenciada da função de recompensa, que combinou valores positivos e negativos, favorecendo maior consistência durante o treinamento e desempenho superior. Conclui-se que o DQL não apenas melhora a fluidez do tráfego urbano, mas também contribui para benefícios ambientais, como menor consumo de combustível e emissões, e sociais, como maior previsibilidade e conforto aos usuários, reforçando seu potencial como ferramenta para sistemas de transporte mais inteligentes e sustentáveis.

The accelerated growth of urban traffic has intensified congestion, making traffic signal control a central issue for mobility and for mitigating environmental and social impacts. Among the promising techniques, deep reinforcement learning stands out, particularly Deep Q-Learning (DQL), which can adaptively handle dynamic scenarios. This applied study aimed to evaluate the performance of different traffic signal control models, comparing traditional fixed-time and Q-Table approaches with DQL variants, including Multi-Label and One-Label schemes. The methodology comprised a literature review focused on the last five years, to contextualize the state of the art, and the implementation of simulations in the SUMO software, enabling the realistic modeling of two adjacent traffic lights on roads with distinct flows. The results showed that the DQL Multi-Label model achieved the best overall performance, surpassing both traditional methods and other reinforcement learning approaches in terms of stability, robustness, and adaptability. An important contribution of this work was the differentiated formulation of the reward function, which combined positive and negative values, ensuring more consistent training and superior outcomes. It is concluded that DQL not only improves traffic flow efficiency but also contributes to environmental benefits, such as reduced fuel consumption and emissions, and social benefits, including greater predictability and user comfort. These findings highlight the potential of deep reinforcement learning as a tool for developing more intelligent, efficient, and sustainable transportation systems.