9 1 UM ESTUDO SOBRE O USO DO MODELO DE COR RGB NO PROCESSO DE CORRESPONDÊNCIA POR CORRELAÇÃO An investigation on the use of the RGB color model in the matching process by correlation PAULO HENRIQUE AMORIM DA SILVA1 ANTONIO MARIA GARCIA TOMMASELLI2 MAURICIO GALO2 ELAINE REIS COSTA3 UNESP - Universidade Estadual Paulista Júlio de Mesquita Filho 2Faculdade de Ciências e Tecnologia – Departamento de Cartografia 1Graduando do Curso de Eng. Cartográfica, Bolsista de IC da Fapesp 3Gisplan – Tecnologia da Geoinformação {tomaseli,galo}@fct.unesp.br, amorim.cart@gmail.com, elaine@gisplan.com.br RESUMO A determinação da correspondência entre pontos homólogos em estereopares é um procedimento fundamental para a automação de várias etapas do processo fotogramétrico. Na grande maioria dos softwares comerciais em uso, os algoritmos de correlação automática exploram a informação de intensidade (ou de tons de cinza), deixando de incorporar informações das cores, que podem ser úteis, se utilizadas de modo adequado, para aumentar a robustez das técnicas de correspondência. Neste trabalho apresentam-se técnicas para utilizar a informação do modelo de cor rgb no processo de correlação, a partir da geração de uma matriz de correlação para cada canal de cor e de sua combinação por meio de funções apropriadas. Utilizando o valor do traço da matriz covariância das translações da imagem de referência para cada canal, é possível prever qual destes pode propiciar um melhor resultado na correspondência e, com isto, ponderar adequadamente as matrizes de correlação. Os pesos são atribuídos de forma automática, de acordo com as características de cada imagem, a partir da análise de cada janela de referência. Para testar esta metodologia foram realizados testes com imagens aéreas digitais coloridas. Nos experimentos realizados, foram obtidas correlações corretas que falhariam ao usar técnicas que consideram somente imagens em tons de cinza. Os resultados são apresentados e discutidos, e mostram que o uso da informação de cor contribui para o aumento da robustez do processo de correlação. Bol. Ciênc. Geod., sec. Artigos, Curitiba, v. 13, no 1, p.91-106, jan-jun, 2007. Um estudo sobre o uso do modelo de cor RGB no processo de ... 9 2 Palavra Chave: Correlação de Imagens, Fotogrametria Digital, Visão Computacional. ABSTRACT Image matching is one of the most important processes in Digital Photogrammetry, since it allows the automation of several stages of the photogrammetric pipeline. In most of the commercial software nowadays available, the algorithms of image correlation use the intensity information (gray levels), despising color information, that could be useful, if used in a suitable way, increasing the robustness of the current correspondence techniques in Digital Photogrammetry. The aim of this work is to present a technique that uses the RGB color model in the correlation process, in which a correlation matrix is generated for each color channel. The trace of the covariance matrix related to the translations of the reference window is used to predict which channel can better contribute to the result of the correlation and, with this, to properly weight the correlation coefficients. The weights to be applied to each one of the correlations matrixes are computed adaptively, considering the characteristics of each image. In order to assess this methodology, experiments with real color aerial images were accomplished and correct correlations were achieved with the proposed technique but failed with the current techniques using only grey level images. The results are presented and discussed, showing that the use of color information increases the robustness of the correlation process. Keywords: Image Matching, Digital Photogrammetry, Computer Vision. 1. INTRODUÇÃO A Fotogrametria digital tem suas raízes por volta dos anos 1950 em trabalhos sobre correlação de imagens. Foi somente na década de 1980, devido aos avanços eletrônicos e computacionais, que os processos fotogramétricos iniciaram sua evolução para os meios digitais (SCHENK, 1999), permitindo a automação de algumas tarefas, como, por exemplo, a medição das coordenadas das marcas fiduciais e a determinação da correspondência entre pontos homólogos. A correspondência automática entre pontos homólogos é o problema de maior relevância em Fotogrametria Digital e Visão Computacional, pois permite tanto a realização da orientação relativa das imagens e, portanto, da fototriangulação, quanto a geração de Modelos Digitais de Terreno, com pequena participação de um operador humano. Existem diferentes técnicas de correspondência de imagens, as quais podem ser classificadas em dois grupos: correspondência baseada em áreas (area-based matching) e a correspondência baseada em atributos (feature-based matching) (DHOND e AGGARWAL, 1989; HEIPKE, 1996; GALO, 2003; BEDER, 2004). A correlação entre imagens digitais é uma das técnicas de correspondência baseada em áreas e tem por finalidade detectar pontos homólogos a partir de medidas de similaridade entre as potenciais áreas homólogas em duas imagens. Tal técnica Bol. Ciênc. Geod., sec. Artigos, Curitiba, v. 13, no 1, p.91-106, jan-jun, 2007. Silva, P.H. A. et al 9 3 consiste em definir uma janela de amostra (ou de referência), que contém o ponto alvo, e varrer uma janela de busca (ou de pesquisa). Para cada uma das combinações possíveis avalia-se o grau de similaridade desta posição, detectando assim o ponto que apresenta maior grau de similaridade, rotulando este como o ponto correspondente ou homólogo. Na grande maioria dos softwares fotogramétricos comerciais em uso não se faz referência ao uso da informação de cor, o que indica que os algoritmos de correlação automática operam basicamente com a informação de intensidade (ou tons de cinza). Por outro lado, atualmente, a maioria das imagens digitais coletadas tanto por câmaras convencionais quanto por câmaras digitais são coloridas. Com o aumento do uso das câmaras digitais, há necessidade de algoritmos específicos para imagens coloridas nos processos fotogramétricos digitais. Diante disso nota-se a importância de se desenvolver e estudar métodos de correspondência automática de imagens que explorem a informação das cores, na tentativa de obter melhores resultados nos processos fotogramétricos. Paradoxalmente, este tema é pouco explorado na literatura fotogramétrica, o que abre consideráveis oportunidades de pesquisa a médio e longo prazo. 2. FUNDAMENTAÇÃO TEÓRICA Na Fotogrametria convencional (analógica ou analítica) a identificação de pontos homólogos em estereopares é feita exclusivamente por um operador humano. Nas áreas de Fotogrametria Digital e Visão Computacional, entretanto, foram desenvolvidas alternativas para resolver tal problema automaticamente (SCHENK, 1999). A Figura 1 ilustra o principio do processo para a determinação de correspondência, que se baseia na varredura na matriz de busca em comparação com a matriz de referência. Figura 1 – Princípio do processo de correlação em imagens. (Adaptado de Andrade (1998)) Matriz de buscaMatriz de referência A maneira mais simples de calcular o grau de similaridade entre a matriz de referência e uma submatriz de busca é efetuar a somatória das diferenças entre os valores de cinza. No entanto, uma das funções mais utilizadas para a medida de similaridade é o coeficiente de correlação, que proporciona um número no intervalo Bol. Ciênc. Geod., sec. Artigos, Curitiba, v. 13, no 1, p.91-106, jan-jun, 2007. Um estudo sobre o uso do modelo de cor RGB no processo de ... 9 4 [-1,1]. A expressão que permite o cálculo do coeficiente de correlação é apresentada em (1) (SCHENK, 1999): ( )( ) ( ) ( )∑∑∑∑ ∑∑ = == = = = −− −− = σσ σ =ρ n 0i m 0j 2 B)j,i(B n 0i m 0j 2 R)j,i(R n 1i m 1j B)j,i(BR)j,i(R BR RB gg.gg gggg , (1) em que: - RBσ é a covariância entre os tons de cinza das janelas de referência e de busca; - Rσ é o desvio-padrão dos tons de cinza na janela de referência; - Bσ é o desvio-padrão dos tons de cinza na janela de busca; - n, m são as dimensões da janela de referência; - é o nível de cinza na posição (i,j) na janela de referência; ),( jiRg - é o nível de cinza da posição (i,j) na janela de busca; ),( jiBg - Rg é a média dos níveis de cinza da janela de referência; e - Bg é a média dos níveis de cinza da janela de busca. O valor 1 corresponde à medida de correlação máxima, o valor 0 indica que não há correlação entre as janelas e o valor -1 indica correlação inversa. Atualmente tal processo tem sido aplicado predominantemente em imagens em tons de cinza (ou intensidade) mesmo quando são usadas imagens coloridas. Para calcular o tom de cinza de um pixel a partir dos valores das bandas RGB (Red, Green, Blue) pode-se utilizar a expressão (2) (GONZALES e WOODS, 2000): 0,299. 0,587. 0,114.g R G B= + + . (2) O uso da informação de intensidade (g), embora seja efetivo para muitos alvos, pode ser insuficiente para discriminar outros, podendo implicar em algumas falsas correlações, uma vez que ao usar apenas a intensidade, ignoram-se as diferentes respostas dos alvos para determinados comprimentos de onda, que poderiam ser úteis para discriminá-los. Para reduzir o problema de falsas correspondências, normalmente são adotadas estratégias para a redução do espaço de busca, por meio de restrições como: a utilização de um processo hierárquico em uma pirâmide de imagens; a busca em linhas epipolares e a restrição de variação altimétrica a partir de informações existentes do relevo, dentre outras. Somente estas estratégias, entretanto, não são suficientes para garantir que não ocorram falsas correlações. Bol. Ciênc. Geod., sec. Artigos, Curitiba, v. 13, no 1, p.91-106, jan-jun, 2007. Silva, P.H. A. et al 9 5 Embora a utilização da informação das cores implique no aumento do custo computacional do processo, espera-se que ela contribua na melhoria da confiabilidade e a robustez do processo de correspondência, pela diminuição da ocorrência das falsas correspondências. Dentre os trabalhos que trabalham com informações dos canais RGB pode-se destacar Brockelbank e Yang (1989) e Hung, et al. (1998), que usaram as informações destes canais especificamente para a correspondência por feições (ou atributos). Chambon e Crouzil (2004, 2005) testaram três métodos baseados na informação das cores no processo de correspondência, utilizando alguns modelos de cores: XYZ, HSI, Cie L*ab, Cie L*uv, AC1C2, YC1C2, C1C2C3 e I1I2I3. Em síntese, os seguintes métodos foram estudados: • O primeiro método consiste em realizar a correlação em cada um dos três canais de cores e fazer a fusão destas três matrizes usando operações matemáticas como: o máximo, a média, mediana, entre outras; • O segundo método consiste em processar a análise de componentes principais e então realizar a correlação de cada canal com o primeiro componente principal, que é aquele que contém a informação predominante; • O terceiro método consiste em calcular várias normas entre os canais de cores, dentre as principais a distância euclidiana, e em função destas medidas calcula- se a correlação. Kuzu (2002) propôs uma técnica semelhante à apresentada neste trabalho, na qual utiliza os desvios-padrão do sinal de canal da janela de referência como pesos para a média entre as matrizes de correlação, ou seja, janelas heterogêneas recebem maior ponderação. Nota-se, entretanto, que ao utilizar o desvio padrão não se leva em consideração a direção do gradiente da sub-imagem de referência e, no caso em que se tenha um baixo gradiente em x e alto em y, o peso seria alto. No entanto, uma sub-imagem com esta característica é inadequada para a correlação. Por outro lado, utilizando o traço da MVC das translações, como proposto neste trabalho, pode-se detectar se a variabilidade existente é decorrente de uma borda, o que seria inadequado para a correlação. Park e Zimmermann (2000) utilizaram o processo de correspondência por área, usando os canais RGB apenas para confirmar a correlação, verificando para cada par correlacionado se os coeficientes em cada banda apresentavam valores maiores do que 0,5. Embora a informação de cor tenha sido aplicada, na realidade os valores não foram usados para definir a correspondência, mas apenas como critério para a aceitação ou rejeição do par selecionado como homólogo. As imagens coloridas normalmente são armazenadas de modo que se tem, para cada pixel, três seqüências de oito bits, que guardam as informações dos canais R, G e B, sendo que algumas câmaras usam o filtro de Bayer (Bayer pattern) para Bol. Ciênc. Geod., sec. Artigos, Curitiba, v. 13, no 1, p.91-106, jan-jun, 2007. Um estudo sobre o uso do modelo de cor RGB no processo de ... 9 6 capturar a imagem, separando a porção do espectro correspondente a cada canal (RGB). Para realizar a correlação com base na informação das cores, é necessário, primeiramente, fazer a leitura da imagem separando os três canais (R, G, B), para então aplicar o processo de correlação em cada um deles. Como resultado tem-se três matrizes (ou imagens) de correlação. A qualidade da correlação pode ser estimada a priori calculando-se a matriz variância-covariância das translações entre as janelas de referência e pesquisa. Pode-se, portanto, prever qual canal pode apresentar melhores resultados e, com isto, atribuir um maior peso para os melhores canais, o que deve proporcionar melhores resultados na detecção de pontos homólogos. Em síntese, o processo é formado pelas seguintes etapas (FÖRSTNER, 1982; HARALICK e SHAPIRO, 1993; COSTA, et al., 2005): - Calcular a variância do ruído ( )2 nσ em função da variância da janela de referência ( )2 fσ e do máximo coeficiente de correlação ( )12ρ ; - Calcular a matriz de equações normais ( )N em função dos gradientes nas linhas e colunas da janela de referência; - Calcular a precisão dos parâmetros de translação entre as imagens em função da variância do ruído ( )2 nσ e da matriz de equações normais ( )N . A MVC das translações pode ser obtida com: 1 2 1 12 , 2 1 1 ' ' ' ˆ ' ' ' i i i i i m m l l i i x y n m m l c c i i g g g g g g σ ic − = = Δ Δ = = ⎡ ⎤ ⎢ ⎥ ⎢ ⎥∑ = ⎢ ⎥ ⎢ ⎥⎣ ⎦ ∑ ∑ ∑ ∑ , (3) em que m é o número de elementos da matriz de referência, e e são os gradientes ao longo das linhas e colunas, respectivamente. il g ' icg ' Observa-se que a matriz y,x ΔΔ∑ (Equação 3) depende dos gradientes ao longo das colunas e linhas da matriz de referência, bem com de uma estimativa da variância do ruído. Este valor pode ser estimado a partir do valor da variância da imagem, bem como do coeficiente de correlação para um alvo ideal (FÖRSTNER, 1982; HARALICK e SHAPIRO, 1993; COSTA, et al., 2005). Deste modo, pode-se estimar o valor da variância do ruído a partir do valor de ρ para um alvo bem definido na imagem de referência. A MVC das translações, obtida apenas a partir das informações de intensidade de janela de referência, permite que se tenha uma estimativa da qualidade da correlação. Por exemplo, uma borda horizontal perfeita não permite a determinação Bol. Ciênc. Geod., sec. Artigos, Curitiba, v. 13, no 1, p.91-106, jan-jun, 2007. Silva, P.H. A. et al 9 7 da translação em x, ao passo que um canto permite boa qualidade, tanto ao longo das linhas quanto das colunas. Observa-se, pela estrutura da matriz variância covariância, que os valores de tr podem variar de 0 até +∞ . No entanto, Costa, et al. (2005) observaram que para uma imagem adequada para correlação, o valor de tr ficaria muito próximo de 0. Assim, Costa, et al. (2005) verificaram empiricamente que valores maiores que 0,09 podem ser rejeitados, pois se mostram deficientes para a correlação, como no caso de regiões homogêneas ou bordas horizontais. 3. METODOLOGIA Neste trabalho foi desenvolvida uma estratégia para o estabelecimento da correspondência por correlação em imagens aéreas digitais coloridas, de modo a minimizar a influência de falsas correlações que ocorrem nas imagens em tons de cinza. Desenvolveu-se um programa em linguagem C++, utilizando o ambiente Borland C++ Builder, cuja finalidade é fazer a leitura dos canais primários de cor de cada pixel das janelas de referência e de busca recortadas de imagens aéreas digitais coloridas. Com o objetivo de estudar a influência das cores no processo de correspondência o programa desenvolvido realiza a correlação em tons de cinza e a correlação utilizando os canais R, G e B. Para isto, gera-se um coeficiente de correlação médio para cada posição da janela de correspondência, a partir do calculo da média ponderada dos coeficientes de correlação dos três canais nesta posição. De modo análogo ao realizado com as imagens em tom de cinza, a busca do máximo coeficiente de correlação indicará a posição de maior similaridade e, portanto, a sub-imagem da janela de busca homóloga à sub-imagem de referência (janela de referência). No processo de correlação utilizando os canais R, G e B, são gerados três coeficientes de correlação, um para cada canal, que formam três matrizes de correlação. Pode-se, então, calcular uma matriz de correlação ponderada, diferentemente do processo aplicado em imagens em tons de cinza, que gera apenas um coeficiente baseado na informação da intensidade. Primeiramente foram realizados testes calculando-se a matriz de correlação média, com a média aritmética das três matrizes de correlação, nos quais pôde-se perceber uma melhora nos resultados se comparados com a correlação utilizando somente a intensidade. No entanto, a técnica apresentou algumas falsas correlações. Para torná-la mais robusta uma alternativa seria atribuir pesos maiores às matrizes de correlação dos canais que fossem melhores para correlação. O problema passa a ser como estimar os pesos a serem atribuídos aos coeficientes de correlação de cada canal. Foi desenvolvida uma estratégia de atribuição adaptativa de pesos, baseada no traço (tr) da matriz MVC das translações da janela de referência. Considerando-se que, para uma dada janela da imagem de referência os traços para as bandas sejam Bol. Ciênc. Geod., sec. Artigos, Curitiba, v. 13, no 1, p.91-106, jan-jun, 2007. Um estudo sobre o uso do modelo de cor RGB no processo de ... 9 8 denotados por trR, trG e trB, e os respectivos coeficientes de correlação sejam ρR, ρG e ρB, o coeficiente de correlação ponderado pelos traços pode ser calculado por: BGR BBGGRR ppp ppp ++ ++ = ρρρ ρ , (4) em que pR = f(trR), pG = f(trG) e pB = f(trB). A hipótese a ser testada é a de que um canal adequado para a correlação tem traço da MVC das translações pequeno, ao qual se associaria um peso alto e, inversamente, a uma área inadequada se associaria um peso próximo de zero. Na prática, entretanto, observa-se que a variação do traço da MVC das translações de um canal bom para correlação e de um canal ruim é muito pequena. Assim, deve-se usar uma função de similaridade que o discrimine e permita associar um valor de similaridade alto quando os traços forem pequenos. Este comportamento é apresentado pela função usada por Faugeras (1993) e Galo (2003), para o estabelecimento da correspondência pelo método de rotulação por relaxação. Esta função pode ser escrita como: { } { }BGR tr p BGR ,, .1 1 ,, α+ = (5) em que α é uma constante relacionada com a influência da medida de distância, ou traço, neste caso. Uma outra função que pode ser considerada é uma curva gaussiana, cuja função é: { } { } 2 ,,5.0 ,, ⎟⎟ ⎠ ⎞ ⎜⎜ ⎝ ⎛ − = σ BGR ep BGR , (6) em que σ é uma constante relacionada com a forma da curva. Os valores de α e σ são determinados empiricamente, como mostrados na Seção 4. 4. EXPERIMENTOS E ANÁLISE DOS RESULTADOS As imagens utilizadas nos experimentos foram extraídas de um estereopar de imagens aéreas digitais coloridas que contém uma parte da cidade de Assis. As imagens foram capturadas por uma câmara digital Hasselblad Imacon H1D (22 Mpixels). Na Figura 2 são mostrados os estereopares utilizados. Bol. Ciênc. Geod., sec. Artigos, Curitiba, v. 13, no 1, p.91-106, jan-jun, 2007. Silva, P.H. A. et al 9 9 Figura 2 - Estereopares utilizados nos experimentos. Estas imagens fazem parte de um bloco fotogramétrico que possui as seguintes características: - Altura de vôo: 2230m; - Distância focal nominal da câmara: 50,00mm; - Resolução da imagem: 4080 x 5440 pixels; - Tamanho do sensor CCD: 36,7 x 49mm; - Tamanho do pixel na imagem: 0,009mm; e - Tamanho do pixel no terreno (GSD – Ground Sample Distance): 0,40m. Para realização dos experimentos, as sub-imagens de busca e referência foram selecionadas visualmente, pois não é objetivo deste trabalho o estudo e a avaliação de técnicas de redução do espaço de busca. Admitiu-se o caso mais geral, no qual a busca deva ser feita em uma janela bidimensional, sem restrições geométricas, como é o caso da fototriangulação. Utilizou-se nos experimentos imagens de referência de dimensões 9x9 e 7x7 pixels, justificando-se estas dimensões pelo fato da ocorrência de distorções na geometria das imagens devido à projeção perspectiva, que prejudicam o processo de correspondência para janelas de referência de grandes dimensões. As janelas de busca possuem lados variando de 69 a 97 pixels. Na Figura 3 apresentam-se as imagens de busca e referência selecionadas, onde pode-se verificar que foram selecionados alvos com diferentes cores e padrões Nestas imagens, o ponto correspondente, determinado visualmente, foi destacado com um círculo sobre a janela de busca. Bol. Ciênc. Geod., sec. Artigos, Curitiba, v. 13, no 1, p.91-106, jan-jun, 2007. Um estudo sobre o uso do modelo de cor RGB no processo de ... 1 0 0 Figura 3 - Janelas de referência e busca utilizadas nos experimentos. Experimento 14 Experimento 02 Experimento 03 Experimento 04 Experimento 01 Experimento 06 Experimento 07 Experimento 08 Experimento 05 Experimento 10 Experimento 11 Experimento 12 Experimento 09 Experimento 13 Antes de iniciar os experimentos com as imagens coloridas foi realizado um procedimento para determinar os valores para as constantes α e σ. Para isso foram utilizadas 50% das imagens disponíveis e foram obtidas as correlações utilizando os canais RGB e o traço da MVC das translações, modificando os valores de α e σ até atingir o melhor resultado em termos de número de correspondências corretas. Deste modo, determinou-se um valor empírico para α (na Equação 5) e para σ (na Equação 6). Os valores obtidos, σ =0,005 e α=40, foram utilizados nos experimentos restantes, nos quais é possível observar o bom desempenho destas funções. Os experimentos foram realizados em duas etapas: na primeira foi testada a correspondência por correlação utilizando o modelo RGB, calculando-se a matriz de correlação média, fazendo-se a média aritmética das matrizes de correlação nos canais R, G e B. Na segunda etapa foram realizados testes utilizando a técnica desenvolvida, que realiza a atribuição adaptativa de pesos às matrizes de correlação de cada canal. Bol. Ciênc. Geod., sec. Artigos, Curitiba, v. 13, no 1, p.91-106, jan-jun, 2007. Silva, P.H. A. et al 1 0 1 Na Figura 4 são mostrados os resultados de alguns dos experimentos (6, 10, e 14), nos quais ocorreram falsas correspondências ao utilizar apenas os tons de cinza e os resultados com o uso o modelo RGB com a ponderação adaptativa, obtida em função do traço da matriz de covariâncias das translações, os quais apresentaram correspondências correta. Figura 4 - Exemplos de falsas correspondências utilizando imagens em tons de cinza e os resultados obtidos usando as informações das bandas R, G e B. RGB Tons de cinza RGB Tons de cinza RGBTons de cinza Referência (4x) Busca Correspondência Como foi mencionado na Seção 2, é necessário estimar uma variância do ruído a priori para se calcular a MVC das translações de uma imagem. A partir dos experimentos realizados com as imagens aéreas da câmara Hasselblad, Costa (2006) utilizou o valor de 0,9 como máximo coeficiente de correlação. Como as imagens usadas nos experimentos deste trabalho são as mesmas usadas por Costa (2006), foi adotado este mesmo valor. Admitiu-se nos experimentos que a variância do ruído é a mesma nos três canais, uma vez que a imagem foi capturada com o filtro de Bayer e os canais RGB foram gerados por interpolação. Por isto, pode-se admitir que a Bol. Ciênc. Geod., sec. Artigos, Curitiba, v. 13, no 1, p.91-106, jan-jun, 2007. Um estudo sobre o uso do modelo de cor RGB no processo de ... 1 0 2 variância do ruído afete igualmente os pesos dos três canais, ou seja, a estimação inexata do seu valor não influenciará a estratégia de atribuição adaptativa dos pesos. Na Figura 5 é apresentado um gráfico mostrando os erros na correspondência para os experimentos mencionados, usando-se as três estratégias estudadas: a correlação na imagem em tons de cinza, a média aritmética dos coeficientes de correlação nos canais RGB e média ponderada dos coeficientes de correlação nos canais RGB. Figura 5 - Erro na correspondência utilizando tons de cinza, média aritmética e média ponderada dos coeficientes dos canais R, G e B. 0 10 20 30 40 50 60 70 80 90 1 2 3 4 5 6 7 8 9 10 11 12 13 14 Experimentos Er ro (p ix el ) Tons de Cinza Media RGB RGB Ponderado No gráfico da Figura 5, nota-se claramente uma diminuição das falsas correspondências ao usar a média aritmética, em relação aos experimentos com a utilização das imagens em tons de cinza. No entanto este método apresentou erros que chegam até 80 pixels. Uma vez que os valores dos erros obtidos a partir do método RBG adaptativo (ou ponderado) são pequenos e não podem ser vistos na Figura 5, apresenta-se a Figura 6 . Figura 6 - Erro obtido no método RGB adaptativo ou ponderado. RGB Ponderado 0 0,2 0,4 0,6 0,8 1 1,2 1,4 1,6 1 2 3 4 5 6 7 8 9 10 11 12 13 14 Experimentos E rr o (p ix el ) RGB Ponderado Bol. Ciênc. Geod., sec. Artigos, Curitiba, v. 13, no 1, p.91-106, jan-jun, 2007. Silva, P.H. A. et al 1 0 3 A partir do gráfico na Figura 6 observa-se a robustez dos resultados obtidos no processamento baseado na média ponderada com atribuição adaptativa dos pesos aos coeficientes de correlação dos canais R, G, B, onde o peso é função do traço da MVC das translações da janela de busca. Os maiores erros obtidos são da ordem de 1,4 pixel. No entanto estes erros pequenos podem ser considerados aceitáveis, pois indicam que o ponto de máxima correlação está na vizinhança 8 do pixel correto e não são significativos, uma vez que o valor de referência foi determinado por inspeção visual. Figura 7 – Resultado da correspondência usando o método RGB adaptativo para os experimentos da Figura 3. Um ponto relevante que pode ser destacado refere-se ao fato de haver ou não correlação entre as bandas RGB de uma mesma sub-imagem. Caso esta correlação seja alta, é coerente considerar que o resultado do procedimento de correspondência usando apenas a informação de intensidade deve fornecer um bom resultado. Nos casos em que a correlação entre as bandas sejam baixas, pode-se pensar que as bandas menos correlacionadas poderão ser usadas no método proposto. Com este propósito foi feito o cálculo da correlação entre os canais R e G, R e B, e B e G, para as sub-imagens utilizadas nos experimentos, sendo possível inferir a importância de se ponderar adequadamente as matrizes de correlação para evitar regiões homogêneas em um determinado canal. O Quadro 1 mostra o Bol. Ciênc. Geod., sec. Artigos, Curitiba, v. 13, no 1, p.91-106, jan-jun, 2007. Um estudo sobre o uso do modelo de cor RGB no processo de ... 1 0 4 comportamento da correlação entre os canais RGB das imagens de referência utilizadas. Quadro 1 – Coeficiente de correlação entre os canais. Correlação entre os Canais Correlação entre os CanaisJanela de Referência (R,G) (R,B) (B,G) Janela de Referência (R,G) (R,B) (B,G) 1 0,55 0,29 0,95 8 0,98 0,98 0,99 2 0,99 0,99 0,98 9 -0,63 -0,73 0,97 3 0,98 0,96 0,99 10 0,63 0,53 0,99 4 0,68 0,57 0,98 11 -0,54 -0,73 0,96 5 0,99 0,93 0,96 12 -0,43 -0,71 0,91 6 0,35 0,15 0,82 13 0,56 0,65 0,92 7 0,26 0,37 0,98 14 0,24 0,19 0,14 Observando o alvo 2, especificamente, pode-se notar a alta correlação entre as bandas, como ocorre também com os alvos 3, 5 e 8 (realçados na tabela). Ao analisar estes alvos, bem como o resultado da Figura 5, pode-se notar que nos alvos 5 e 8 se tem uma grande ambigüidade (pois estão sobre uma borda próxima da horizontal e inclinada, respectivamente) e que o uso do método RGB ponderado contribuiu para a determinação da correspondência. Para os alvos 2 e 3 pode-se notar que todos os métodos apresentados forneceram um bom resultado. Portanto, mesmo para o caso onde se têm alvos onde existam altas correlações entre as bandas, o uso da informação de cores pode contribuir para a solução da correspondência. 6. CONCLUSÕES E RECOMENDAÇÕES Os resultados experimentais indicam que é melhor usar os vários canais de cores do que somente a intensidade (ou tons de cinza) para a correspondência por correlação. A razão para isto é que na conversão de RGB para tons de cinza algumas informações úteis para resolver ambigüidades, que causam falsas correspondências, em algumas situações, são perdidas. Observa-se, na correlação baseada em tons de cinza, alguns erros principalmente nos casos em que as imagens são ruins para o estabelecimento da correspondência (imagens homogêneas ou com ambigüidade). O uso da informação das cores do modelo RGB, através da média aritmética dos coeficientes de correlação de cada um desses canais, melhorou estes resultados atingindo um erro médio de 1,3 pixels, mas, em alguns casos, ainda ocorrem falsas correlações (experimentos 5 e 8, Figura 5). A utilização da média ponderada adaptativa dos coeficientes de correlação do modelo de cores RGB, em que o peso foi calculado em função do traço da MVC das translações da janela de busca, tornou o processo mais robusto, ou seja, menos vulnerável a falsas correlações. Com isto obteve-se um erro médio de 0,3 pixels, e erro máximo de 1,4 pixels. Bol. Ciênc. Geod., sec. Artigos, Curitiba, v. 13, no 1, p.91-106, jan-jun, 2007. Silva, P.H. A. et al 1 0 5 Os resultados obtidos mostram a viabilidade desta proposta, pois se vê a possibilidade de aumentar a qualidade e eficiência do processo de correspondência automática de imagens pelo uso da ponderação adaptativa dos coeficientes de correlação de cada componente do espaço de cores RGB, em que o peso utilizado é uma função do traço da MVC das translações, determinadas em função apenas da janela de referência. Recomenda-se em trabalhos futuros, estudar esta abordagem de ponderação adaptativa considerando a influência da variância do ruído, de modo que o processo de cálculo seja menos dependente de informações a priori. Além disso, recomenda- se o estudo de outros modelos de cores (HSI, cores oponentes, dentre outros), no processo de correspondência. Adicionalmente, sugere-se a realização de um número maior de experimentos, com diferentes tipos de alvos e imagens, além de avaliar a contribuição desta técnica na geração automática de MTD. AGRADECIMENTOS Os autores agradecem à FAPESP pelo apoio financeiro, em forma de bolsa de Iniciação Cientifica. Adicionalmente, os autores agradecem às sugestões dos avaliadores anônimos, que contribuíram para a melhoria do trabalho. REFERÊNCIAS ANDRADE, J. B. de Fotogrametria. Curitiba: SBEE,1998. 246 p. BEDER, C. A Unified Framework for the Automatic Matching of Points in Multiple Oriented Images. In: ISPRS Congress, 2004, Istanbul. International Archives of Photogrammetry and Remote Sensing, Istanbul. v. XXXIV, p.1109-1113, 2004. BROCKELBANK, D. C.; YANG, Y. H. An Experimental Investigation in the Use of Color in Computational Stereopsis. IEEE Transactions on Systems, Man and Cybernetics, v.19, n. 6, p.1365-1383, 1989. CHAMBON, S.; CROUZIL, A. Colour stereo matching using correlation measures. In: Complex Systems Intelligence and Modern Technological Applications – CSIMTA 2004, p. 520-525, Chesbourg, France, 2004. CHAMBON, S.; CROUZIL, A. Colour correlation-based matching. In: International Journal of Robotics and Automation, Iasted, v. 20, n. 2, p. 78-85, 2005. COSTA, E. R. ; TOMMASELLI, A. M. G ; GALO, M. Técnicas de pré-análise do processo de correlação visando a geração de modelo digital de terreno. Revista Brasileira de Cartografia, Rio de Janeiro, v. 57, n. 3, p. 252-262, 2005. COSTA, E. R. Geração automática de modelos digitais de terreno a partir de imagens de câmaras digitais. 2006. 118 f. Dissertação (Mestrado em Ciências Cartográficas) - Universidade Estadual Paulista Júlio de Mesquita Filho, Presidente Prudente, 2006. Bol. Ciênc. Geod., sec. Artigos, Curitiba, v. 13, no 1, p.91-106, jan-jun, 2007. http://www.irit.fr/publications.php3?code=2560&nom=Chambon%20Sylvie http://www.irit.fr/publications.php3?code=87&nom=Crouzil%20Alain http://www.irit.fr/publications.php3?code=2560&nom=Chambon%20Sylvie http://www.irit.fr/publications.php3?code=87&nom=Crouzil%20Alain Um estudo sobre o uso do modelo de cor RGB no processo de ... 1 0 6 DHOND, U. R.; AGGARWAL, J. K. Structure from stereo - A review. In: IEEE Transactions on Systems, Man and Cybernetics,v. 19, n.. 6, , p. 1489-1510, 1989. FAUGERAS, O. Three-Dimensional Computer Vision - A geometric viewpoint. Cambridge, England: The MIT Press, 1993. 663 p. FÖRSTNER, W. On the geometric precision of digital correlation. In: ISPRS Congress, 1982, Helsinke. International Archives of Photogrammetry and Remote Sensing, v. 14, n. 3, p. 176-189, 1982. GALO, M. Automação dos processos de correspondência e orientação relativa em visão estéreo. 2003. 262 p. Tese (Doutorado em Engenharia Elétrica) - Faculdade de Engenharia Elétrica e de Computação - FEEC, Universidade Estadual de Campinas - UNICAMP, Campinas, 2003. GONZALES, R. C.; WOODS, R. E. Processamento de Imagens Digitais. São Paulo: Blücher Ltda, 2000, 700 p. HARALICK, R.; SHAPIRO, L. G. Computer and robot vision. Addison-Wesley Publishing Company, Inc., v 2, 1993. 630 p. HEIPKE, C. Overview of Image Matching Techniques. In: OEEPE - Workshop on the application of digital photogrammetric workstations, Lausanne, Switzerland, March 4-7, 1996. HUNG, Y. P.; CHEN, C. S.; HUNG, K. C.; CHEN, Y. S.; FUH, C.S. Multipass Hierarchical Stereo Matching for Generation of Digital Terrain Models from Aerial Images. Machine Vision and Aplications, v. 10. p. 280-291, 1998. KUZU, Y. Photorealistic object reconstruction using color image matching. ISPRS Commission V Symposium 2002, Close-Range Vision Techniques, Corfu, Greece, p. 169-174, 2002. PARK, H. J.; ZIMMERMANN, P. Colour image matching for DTM generation and house extraction. In: ISPRS Congress, 2000, Amsterdam. International Archives of Photogrammetry and Remote Sensing, Amsterdam. v. XXXIII, p. 697-704, 2000. SCHENK, T. Digital Photogrammetry – Volume I. Laurelville: TerraScience,1999, 428 p. (Recebido em dezembro/2005. Aceito em novembro/2006) Bol. Ciênc. Geod., sec. Artigos, Curitiba, v. 13, no 1, p.91-106, jan-jun, 2007. UM ESTUDO SOBRE O USO DO MODELO DE COR RGB NO PROCESSO DE CORRESPONDÊNCIA POR CORRELAÇÃO An investigation on the use of the RGB color model in the matching process by correlation As imagens utilizadas nos experimentos foram extraídas de um estereopar de imagens aéreas digitais coloridas que contém uma parte da cidade de Assis. As imagens foram capturadas por uma câmara digital Hasselblad Imacon H1D (22 Mpixels). Na Figura 2 são mostrados os estereopares utilizados.