Road detection via deep learning: unsupervised domain adaptation for urban and suburban environment

Abstract

The road network is one of the main ways of transport in the world, providing various applications for human activities, such as urban planning, economy (logistics), autonomous navigation, and others. Currently, methods based on Deep Learning (DL) are the main approaches for obtaining road network information. However, this task is still challenging due to the domain shift effect. Since the characteristics and properties that define a domain for training are distinct from a domain designed for testing (source domain and target domain), the inference of pre-trained models to new areas is hindered, leading to a drop in classification accuracy. To address this challenge, this work explores an Unsupervised Domain Adaptation (UDA) approach, which leverages the strategy of the Domain Adversarial Neural Network (DANN) adapted to the U-Net architecture. Without the need for labeled target data to mitigate domain shift, our adaptation deals with differences in geographical contexts, from urban to suburban areas, and different spatial resolutions of aerial imagery. The experimental results demonstrate that the UDA approach outperforms the source-trained model (i.e., baseline) in all experiments, which reaches the main purpose of UDA. Particularly, in the Distrito Federal state (DF), our study area, UDA improves the road extraction performance by 3.78% in F1-Score and 3.0% in IoU when compared to the baseline. The qualitative analysis further illustrates that the UDA approach relies on geometric structures and contextual cues to produce domain-invariant features, which contributes to better generalization across domains, although it may suppress road extraction-relevant features.

A malha viária é um dos principais meios de transporte no mundo, sendo fundamental para diversas aplicações, como planejamento urbano, economia (logística), navegação autônoma, entre outras. Atualmente, métodos baseados em aprendizado profundo (Deep Learning – DL) são as principais abordagens para obtenção de informação da rede viária. No entanto, essa tarefa ainda é desafiadora devido ao efeito chamado domain shift. Uma vez que as características e propriedades que definem um domínio para treino são distintitas de um domínio designado para teste (domínio fonte e domínio alvo), a inferência de modelos pré-treinados é limitada, acarretando em uma queda na acurácia da classificação. Para lidar com esse desafio, este trabalho explora uma abordagem chamada Unsupervised Domain Adaptation (UDA), queutiliza a estratégia daDomain Adversarial Neural Network (DANN) adaptada à arquitetura U-Net. Sem a necessidade de rótulos no domínio alvo para mitigar o efeito da mudança de domínio, a adaptação proposta lida com diferenças em contextos geográficos, de áreas urbanas para suburbanas, assim como para diferentes resoluções espaciais de imageamento aéreo. Os resultados experimentais demonstram que UDA supera o modelo treinado apenas com o domínio fonte (baseline) nos três experimentos realizados, atingindo o principal objetivo da UDA. Especificamente no estado do Distrito Federal (DF), área de estudo, UDA melhora o desempenho da extração de vias em 3,78% em F1-Score e 3,0% em IoU quando comparado com a baseline. A análise qualitativa ainda demonstra que a extração de características em UDA prioriza a princípio propriedades geométricas ou informações contextuais para produzir características invariantes ao domínio de modo que desconsidera características relevantes à tarefa de extração de rodovias, a fim de alcançar melhor generalização.