Detecção e remoção automática dos efeitos das sombras de áreas urbanas em imagens multiespectrais com alta resolução espacial

Abstract

Imagens orbitais com alta resolução espacial abriram uma nova era na extração de informações, especialmente em ambientes urbanos, em que valiosas informações sobre as superfícies tornaram-se disponíveis e de forma detalhada. No entanto, a obtenção de informação em áreas urbanas complexas pode ser comprometida pela presença de sombras, que chegam a ocupar uma parte significativa da imagem, causando sérias interferências na sua análise. A remoção de sombras é, portanto, um tema importante e ainda não resolvido devido à dificuldade da tarefa, sendo necessária na etapa de pré-processamento de diversas aplicações. Este trabalho propõe o desenvolvimento de uma nova abordagem automática para a restauração de áreas de sombras em imagens de satélite multiespectrais com alta resolução espacial. A abordagem se divide em três etapas principais e sequenciais, sendo a primeira o pré-processamento, que consiste na conversão das imagens para reflectância aparente e na fusão das bandas para a geração de índices espectrais. Na segunda etapa, a detecção das áreas de sombras é realizada pela combinação do top-hat por fechamento com a injunção de um parâmetro de área, calculado em função do índice de sombras NSDVI (Normalized Saturation-Value Difference Index). As regiões de sombras são refinadas para a geração da máscara de sombras, a qual é utilizada na terceira etapa, como guia na restauração pelo inpainting automático. A estratégia de restauração pelo inpainting híbrido, adaptado para o contexto multiespectral, combina a difusão anisotrópica, ordem de preenchimento definida a partir de uma imagem cartoon e equação de transporte, e o preenchimento baseado em blocos por amostragem local. A avaliação experimental do método proposto foi realizada em um conjunto de 215 imagens, fruto do recorte de duas cenas dos satélites WorldView-2 (WV-2) e Pléiades-1B (PL-1B) sobre a área urbana de São Paulo. Os resultados mostraram uma boa performance da detecção de sombras pelo método proposto, alcançando uma acurácia global média de 94,20% e de 90,84%, para as imagens WV-2 e PL-1B, respectivamente, sendo inclusive superior, quando comparado com outros dois métodos propostos na literatura. A remoção dos efeitos das sombras obtido pelo inpainting, proporcionou uma restauração satisfatória e coerente de feições como vias e telhados, que ficaram melhor discerníveis pelo inpainting. Além disso, quando quantidades substanciais de áreas não contamindas por sombras estão disponíveis, o inpainting aumentou as áreas úteis da imagem mais do que a restauração baseada em outras técnicas de transformação de intensidades, como o matching de histogramas. Assim, frente à necessidade de informações extraídas de imagens multiespectrais, espera-se que o método possa contribuir com a detecção e remoção automática dos efeitos de sombras em imagens multiespectrais com alta resolução espacial de áreas urbanas.

High resolution satellite images has played an important role in information extraction especially in urban areas, since valuable information and higher level of details from surface become available with these images. Nevertheless, the task of extracting information from complex urban environment can be hampered by shadows, which can occupy a significant part into the image and, thus negatively affecting the image analysis. Therefore, due to the complexity of the problem, shadow removal is a crucial as one of the first pre-processing steps to enhance the performance of many subsequent steps and applications. The main goal of this thesis is to present a new automatic method for shadow removal in high spatial resolution satellite multispectral images. The proposed method comprises three main steps: the first one is the pre-processing, which includesthe conversion of the target image to the top of atmosphere (TOA) reflectance and the image pansherpening to spectral indices generation. Secondly, a shadow pixels candidates’ identification is performed, combining black-top-hat (BTH) transformation with area injunction driven by the normalized saturation-value difference index (NSDVI) mask. The obtained output is a shadow mask, which is used to properly guide our automatic inpainting-inspired strategy in the restoration step. In the third step, a hybrid inpainting-based strategy specifically adapted for the multispectral imagery context is applied to recover shadow areas, which unifies anisotropic diffusion, filling-in priority based on cartoon image representations, transport equation and block-based pixel replication using local dynamic sampling. The performance of our approach has been evaluated by taking 215 subset images from WorldView-2 (WV-2) and Pléiades-1B (PL-1B) that encompasses the city of São Paulo. The method achieves an overall accuracy on shadow detection up to 94.2%, for WV-2, and 90.84%, for PL-1B. The comparative results indicate that the proposed method outperforms two existing state-of-the-art methods. Shadow effects are mitigated by local inpainting method in which the satisfactory outputs demonstrate good coherence for highway and building rooftops recovery. Moreover, when largely non-contaminated areas are available in the image, the proposed approach improves significantly more areas of the image than the intensity-based transformation techniques, such as the histogram matching method. Once only multispectral imagery is required as input data, the approach can be suitable to support other remote sensing applications as well.