Reinforcement learning-based control for eVTOLs

Abstract

Esta dissertação de mestrado explora o controle de aeronaves de decolagem e pouso vertical elétricas (eVTOL), com foco na utilização de Aprendizado por Reforço (RL) para aprimorar métodos de controle. A Otimização de Política Proximal (PPO) é utilizada como estratégia incipal de controle, enquanto que uma comparação é feita com o Gradiente de Política Determinística Profunda com Atraso Duplo (TD3). As estratégias são testadas em diversos tipos de UAVs com formas e níveis de complexidade de controle diferentes. A integração dessas estratégias com modelos de aeronaves ocorre dentro do ambiente de simulação MuJoCo. Além isso, é realizada uma análise sobre a capacidade das aeronaves eVTOL de lidar com falhas. Cenários simulados incluem casos onde um ou mais rotores param de funcionar temporariamente, semelhante apossiveis situações da vida real. Por meio dessas avaliações, o objetivo é explorar a eficácia dessas estratégias de controle em contextos práticos. Essa compreensão aprofundada pode contribuir com avanços na aplicação real de técnicas de RL para o controle de aeronaves eVTOL.

This master’s dissertation explores the control of electric vertical take-off and landing (eVTOL) aircraft, with a focus on utilizing Reinforcement Learning (RL) to enhance control methods. Proximal Policy Optimization (PPO) serves as the main control strategy, while a comparison is made with the Twin-Delayed Deep Deterministic Policy Gradient (TD3). The strategies are tested across various types of UAVs with differing shapes and levels of control complexity. Integration of these strategies with aircraft models occurs within the MuJoCo simulation environment. Furthermore, an examination is conducted regarding the eVTOL aircraft’s ability to manage malfunctions. Simulated scenarios include instances where one or more rotors cease functioning temporarily, akin to possible real-life scenarios. Through these evaluations, the aim is to gain insights into the effectiveness of these control strategies in practical contexts. This understanding could potentially lead to advancements in the real-world application of RL techniques for eVTOL aircraft control.