UNIVERSIDADE ESTADUAL PAULISTA – UNESP CÂMPUS DE JABOTICABAL ESTIMATIVA DO NÚMERO DE FRUTOS VERDES EM LARANJEIRAS COM O USO DE IMAGENS DIGITAIS Walter Maldonado Junior Engenheiro agrônomo 2016 UNIVERSIDADE ESTADUAL PAULISTA – UNESP CÂMPUS DE JABOTICABAL ESTIMATIVA DO NÚMERO DE FRUTOS VERDES EM LARANJEIRAS COM O USO DE IMAGENS DIGITAIS Walter Maldonado Junior Orientador: José Carlos Barbosa Tese apresentada à Faculdade de Ciências Agrárias e Veterinárias - Unesp, Câmpus de Jaboticabal, como parte das exigências para a obtenção do tı́tulo de Doutor em Agronomia (Produção Vegetal) 2016 M244e Maldonado Jr, Walter Estimativa do número de frutos verdes em laranjeiras com o uso de imagens digitais / Walter Maldonado Junior. – – Jaboticabal, 2016 xiv, 110 p. : il. ; 28cm Tese (doutorado) – Universidade Estadual Paulista, Faculdade de Ciências Agrárias e Veterinárias, 2016 Orientador: José Carlos Barbosa Banca examinadora: Eduardo Sanches Stuchi, Haroldo Xavier Linhares Volpe, José Antonio Alberto da Silva, Cristiano Zerbato Bibliografia 1. Laranja. 2. Previsão de safra. 3. Visão computacional. 4. Agricultura de precisão. 5. Detecção de frutos. I. Tı́tulo. II. Jaboticabal – Faculdade de Ciências Agrárias e Veterinárias. CDU 634.31:004.932 Ficha catalográfica elaborada pela Seção Técnica de Aquisição e Tratamento da Informação – Serviço Técnico de Biblioteca e Documentação - UNESP, Câmpus de Jaboticabal. E-mail: walter@agroestat.com.br DADOS CURRICULARES DO AUTOR Walter Maldonado Junior, nascido em nove de agosto de 1987 na cidade de Bebedouro-SP, Brasil. Concluiu o curso de graduação em agronomia pela Faculdade de Ciências Agrárias e Veterinárias de Jaboticabal (UNESP) no ano de 2010 com iniciação cientı́fica na área de distribuição espacial de pragas doenças recebendo o prêmio “Agronomia” de melhor trabalho de graduação nesse ano, no qual foi desenvolvido um plano de amostragem seqüencial para o ácaro da leprose dos citros Brevipalpus phoenicis. Obteve o tı́tulo de Mestre em Agronomia (Produção Vegetal) no ano de 2013 desenvolvendo sua dissertação também na área de distribuição espacial de pragas e doenças, desenvolvendo um plano de amostragem sequencial agora para o gorgulho da bananeira Cosmopolites sordidus. Obteve, pela defesa desta tese, o tı́tulo de Doutor em Agronomia (Produção Vegetal) no ano de 2016 na área de ciência da computação aplicada à Agronomia, desenvolvendo um método automático para a contagem de frutos verdes em imagens de laranjeiras para ser utilizado em procedimentos de estimativa de produção de talhões isolados da cultura. Desempenhou função de estagiário no Departamento de Ciência Exatas dessa mesma instituição prestando assessoria na área de estatı́stica, experimentação agronômica e ciência da computação aplicada à Agronomia. Atua também na área de estatı́stica experimental aplicada à Agronomia sendo autor do livro “Experimentação Agronômia & AgroEstat – Sistema para Análises Estatı́sticas de Ensaios Agronômicos” e do software para realização de análises estatı́sticas que automatiza os métodos abordados no livro que o acompanha. “Todo o conhecimento tem origem na nossa percepção” Leonardo da Vinci A meus pais e à minha esposa AGRADECIMENTOS Ao Criador pela oportunidade. A meus pais Walter e Eunice e à minha esposa Ana Paula pelo apoio e compre- ensão. Especialmente à minha esposa pela colaboração com as contagens manuais dos frutos nas imagens deste trabalho. Ao Prof. Dr. José Carlos Barbosa pela orientação e apoio. À Citrosuco pela colaboração com a obtenção das imagens utilizadas neste trabalho. À Associação de Pós-graduandos desta unidade, que me propiciou a oportuni- dade de aprender e servir. À FCAV/UNESP Jaboticabal pela infra-estrutura fornecida. Ao Conselho Nacional de Desenvolvimento Cientı́fico e Tecnológico (CNPq) pelo financiamento deste projeto (Processo n. 140600/2013-2). Ao programa de pós-graduação em Agronomia (Produção Vegetal) pelas disci- plinas de excelente qualidade, contando com professores altamente capacitados e pelo suporte e infra-estrutura oferecidos. A meus colegas Paulo, Ricardo e Gilberto pelo aprendizado e pelos momentos de descontração. SUMÁRIO Página LISTA DE TABELAS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . vii LISTA DE FIGURAS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ix 1 INTRODUÇÃO . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 2 REVISÃO DE LITERATURA . . . . . . . . . . . . . . . . . . . . . . . . 5 2.1 Estimativa da produção de citros . . . . . . . . . . . . . . . . . . . . 5 2.2 Processamento de imagens digitais . . . . . . . . . . . . . . . . . . 7 2.3 Filtros de Gabor . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8 2.4 O baixo-relevo simulado . . . . . . . . . . . . . . . . . . . . . . . . 8 2.5 Reconhecimento e Interpretação . . . . . . . . . . . . . . . . . . . . 11 2.5.1 O Aprendizado de Máquina e a Teoria de Aprendizado Estatı́stico 11 2.5.2 Máquinas de Vetores de Suporte (SVMs) . . . . . . . . . . . . 13 3 MATERIAL E MÉTODOS . . . . . . . . . . . . . . . . . . . . . . . . . . 15 3.1 Estimativa do número de frutos por planta . . . . . . . . . . . . . . . 15 3.2 Filtros de Gabor . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16 3.3 Geração das imagens de baixo-relevo simulado . . . . . . . . . . . . 18 3.3.1 Conversão do modelo de cores . . . . . . . . . . . . . . . . . 19 3.3.2 Limiarização global simples . . . . . . . . . . . . . . . . . . . 21 3.3.3 Convolução . . . . . . . . . . . . . . . . . . . . . . . . . . . 21 3.3.4 Filtragem espacial . . . . . . . . . . . . . . . . . . . . . . . 22 3.3.5 Ajustes de iluminação . . . . . . . . . . . . . . . . . . . . . . 23 3.3.6 O operador de Sobel . . . . . . . . . . . . . . . . . . . . . . 23 3.3.7 O operador laplaciano . . . . . . . . . . . . . . . . . . . . . 25 3.4 Segmentação e contagem dos frutos . . . . . . . . . . . . . . . . . . 27 3.4.1 Máscaras espaciais . . . . . . . . . . . . . . . . . . . . . . . 27 3.4.2 Máquinas de Vetores de Suporte (SVMs) . . . . . . . . . . . . 28 3.4.3 A transformada de Hough . . . . . . . . . . . . . . . . . . . . 29 3.4.4 Estratégia utilizada pelo algoritmo de reconhecimento dos frutos 30 3.5 Determinação do número de imagens necessário para a estimativa do número de frutos visı́veis por planta . . . . . . . . . . . . . . . . . . 32 4 RESULTADOS E DISCUSSÃO . . . . . . . . . . . . . . . . . . . . . . . 33 4.1 Extração das caracterı́sticas dos frutos com uso dos filtros de Gabor . . 33 i ii 4.2 Extração das caracterı́sticas dos frutos com o uso de imagens de baixo- relevo simulado . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34 4.3 Comparação do método de contagem automática com o método de contagem manual nas imagens . . . . . . . . . . . . . . . . . . . . 45 4.3.1 Influência da qualidade das imagens nos resultados do algoritmo de detecção e contagem automática . . . . . . . . . . . . . . 53 4.3.2 Tempo despendido nos métodos de contagem . . . . . . . . . 55 4.3.3 Avaliação do desempenho do algoritmo quanto à detecção dos frutos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55 4.3.4 Determinação do número de imagens necessário para a estima- tiva do número de frutos visı́veis . . . . . . . . . . . . . . . . 56 4.4 Comparação dos métodos de contagem de frutos manual e automático em imagens para a estimativa do total de frutos por planta . . . . . . . 60 4.5 Considerações finais . . . . . . . . . . . . . . . . . . . . . . . . . . 69 5 CONCLUSÕES . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 73 6 REFERÊNCIAS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 75 APÊNDICE A Exemplos de geração de imagens de baixo-relevo simulado a partir de imagens digitais de laranjeiras . . . . . . . . . . 87 APÊNDICE B Resultado da detecção automática de frutos verdes em ima- gens obtidas em boas condições . . . . . . . . . . . . . . . 93 APÊNDICE C Resultado da detecção automática de frutos verdes em ima- gens obtidas em más condições . . . . . . . . . . . . . . . 99 APÊNDICE D Códigos-fonte . . . . . . . . . . . . . . . . . . . . . . . . . 103 iii ESTIMATIVA DO NÚMERO DE FRUTOS VERDES EM LARANJEIRAS COM O USO DE IMAGENS DIGITAIS RESUMO – A estimativa da produtividade é um fator importante no planejamento de um processo produtivo. No caso dos citros, pode colaborar com o gerenciamento do processo industrial e servir como orientação para os produtores, apresentando papel decisivo no mercado do produto e no manejo de tratos culturais. Vários estudos de técnicas para estimativa da produção da cultura vêm sendo realizados mas ainda apre- sentando limitações. Devido à correlação entre o número de frutos visı́veis na imagem de uma planta e o número real de frutos na mesma já apontada em estudos anteriores, foi desenvolvido um método de amostragem automático e não-destrutivo, por meio da extração das caracterı́sticas de frutos verdes em imagens digitais. Utilizou-se uma combinação das técnicas de conversão do modelo de cores, limiarização, equalização do histograma de nı́veis de cinza, filtragem espacial com os operadores de Laplace e Sobel e suavização gaussiana. Além disso, foi desenvolvido e testado um algoritmo para o reconhecimento e contagem dos frutos nessas imagens, com taxas de detecção de falso-positivos de 3% em imagens de boa qualidade. É possı́vel se estimar a média do número de frutos visı́veis por planta com um erro tolerado de 5% com até 46 imagens e em aproximadamente 8 minutos, sem nenhuma interação humana. A ausência de flash e a incidência de luz solar direta sobre a planta podem prejudicar consideravelmente o desempenho do algoritmo. Palavras-chave: laranja, previsão de safra, visão computacional, agricultura de precisão, detecção de frutos v ESTIMATION OF THE NUMBER OF GREEN FRUITS IN ORANGE TREES USING DIGITAL IMAGES ABSTRACT – Yield estimation is an important factor in a production process planning. In the case of citrus orchards, can be useful for processing plants management and as guidance for farmers, showing a decisive role in the product market strategies and culti- vation practices. Several techniques are being studied for estimating citrus crop yield, but still presenting significant limitations. On the basis of the known correlation between the number of visible fruits in a digital image and the total of fruits present in an orange tree, an automatic and non-destructive method for green fruit feature extraction was developed with a combination of the techniques of color model conversion, thresholding, histogram equalization, spatial filtering with Laplace and Sobel operators and Gaussian blur. In addition, we built and tested an algorithm to recognize and count the fruits, with detection rates of false-positives of 3% for images acquired in good conditions. It is possible to estimate the mean number of visible fruits in the trees within a tolerated error of 5% with up to 46 images and taking approximately 8 minutes without any human interaction. The absence of flash light or the direct incidence of solar light on the plant can significantly detract the algorithm results. Keywords: orange, yield estimation, computer vision, precision agriculture, fruit detection LISTA DE TABELAS Página 1 Classificação das plantas fotografadas para posterior estratificação dos resultados . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15 2 Motivos e número de descartes de imagens do conjunto de dados (1382 imagens) para avaliação do método automático de contagem de frutos em laranjeiras na safra de 2011 . . . . . . . . . . . . . . . . . . . . . . . . 54 3 Estatı́stica descritiva do tempo despendido em segundos por imagem nas contagens de frutos, em 1182 imagens pelos métodos manual e automático 55 4 Avaliação do desempenho do algoritmo de detecção automática de frutos em imagens de laranjeiras por meio das porcentagens de detecções ± o erro padrão da média em diversos estratos e em 1182 imagens individuais da safra de 2011 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57 5 Avaliação do desempenho do algoritmo de detecção automática de frutos em imagens de laranjeiras pelas porcentagens de detecções± o erro padrão da média agrupadas por qualidade da imagem em 1182 imagens individuais da safra de 2011 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57 6 Número de imagens necessário para a estimativa do número de frutos visı́veis por planta para os erros tolerados de 5, 10, 15 e 20%, em que foram sempre tomadas duas imagens de uma mesma planta . . . . . . . . . . 58 7 Número de imagens necessário para a estimativa do número de frutos visı́veis por planta para os erros tolerados de 5, 10, 15 e 20% dentro de cada combinação entre variedades e grupos de idade, em que foram sempre tomadas duas imagens de uma mesma planta . . . . . . . . . . . . . . . 59 vii LISTA DE FIGURAS Página 1 “Milagre do coração do homem avaro”, de Donatello (DONATO DI NICCOLO DI BETTO BARDI, 1447), esculpida em bronze, 57 × 123 cm, Basilica di Sant’Antonio (Pádua, Itália) (WahooArt.com) . . . . . . . . . . . . . . . 9 2 Três possı́veis preditores para a separação entre “cı́rculos” e “triângulos” . 12 3 Diagrama de fluxo do algoritmo proposto para a geração de imagens de baixo-relevo simulado . . . . . . . . . . . . . . . . . . . . . . . . . . . 19 4 Hiperplanos para separação entre classes de “cı́rculos” e “triângulos” por meio de Máquinas de Vetores de Suporte (SVMs) . . . . . . . . . . . . . 29 5 Diagrama de fluxo da estratégia de reconhecimento e contagem de frutos em imagens de baixo-relevo simulado de laranjeiras . . . . . . . . . . . . 31 6 Resultados de duas aplicações do filtro circular de Gabor com diferentes valores para o parâmetro σ à componente brilho do modelo HSV em imagem da copa de uma laranjeira . . . . . . . . . . . . . . . . . . . . . . . . . 34 7 Imagem original e banco de filtros tradicionais de Gabor aplicados à compo- nente de brilho do modelo HSV em cinco direções . . . . . . . . . . . . . 35 8 Imagem original de uma laranjeira com frutos verdes, tomada com uma câmera digital comum . . . . . . . . . . . . . . . . . . . . . . . . . . . 36 9 Imagem original e camada V após a conversão para o modelo de cores HSV 37 10 Camada de brilho da imagem no modelo de cores HSV antes e após a equalização do histograma de nı́veis de cinza . . . . . . . . . . . . . . . 38 11 Camada de brilho da imagem no modelo de cores HSV com equalização do histograma de nı́veis de cinza antes e após a aplicação da suavização gaussiana . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39 12 Resultado da primeira aplicação do filtro direcional passa-altas de Sobel na horizontal em imagem de uma laranjeira . . . . . . . . . . . . . . . . . . 41 13 Resultado da segunda aplicação do filtro direcional passa-altas de Sobel na horizontal em imagem de uma laranjeira . . . . . . . . . . . . . . . . . . 41 14 Resultado da aplicação do filtro passa-altas laplaciano da gaussiana para a evidenciação de folhas e outros elementos alheios aos frutos em imagem de uma laranjeira . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43 15 Limiarização da imagem de uma laranjeira para a remoção das carac- terı́sticas inerentes ao céu captadas pela imagem digital . . . . . . . . . . 44 ix x 16 Limiarização da imagem de uma laranjeira para a remoção das carac- terı́sticas inerentes ao solo e outros elementos alheios à planta captados pela imagem digital . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44 17 Imagem de baixo-relevo simulado de uma laranjeira, evidenciando os frutos verdes com base em análise de textura e brilho. Nesta imagem ficam destacados os frutos pelo efeito de baixo valor de brilho (cor preta) em suas partes inferiores . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45 18 Regressão linear entre o número de frutos contados pelo método automático e o número de frutos contados manualmente nas imagens de 591 plantas (1182 imagens) tomadas na safra de 2011 . . . . . . . . . . . . . . . . . 46 19 Regressões lineares entre o número de frutos contados pelo método au- tomático e o número de frutos contados manualmente nas imagens de 591 plantas (1182 imagens) tomadas na safra de 2011 e estratificadas por grupos de idade . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47 20 Regressões lineares entre o número de frutos contados pelo método au- tomático e o número de frutos contados manualmente nas imagens de 591 plantas (1182 imagens) tomadas na safra de 2011 e estratificadas por variedades . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48 21 Regressões lineares entre o número de frutos contados pelo método au- tomático e o número de frutos contados manualmente nas imagens de 591 plantas (1182 imagens) tomadas na safra de 2011 e estratificadas por setores do estado de São Paulo . . . . . . . . . . . . . . . . . . . . . . 49 22 Regressões lineares entre o número de frutos contados pelo método au- tomático e o número de frutos contados manualmente nas imagens de 591 plantas (1182 imagens) tomadas na safra de 2011 e estratificadas por regiões do estado de São Paulo . . . . . . . . . . . . . . . . . . . . . . 51 23 Regressões lineares entre o número de frutos contados pelo método au- tomático e o número de frutos contados manualmente nas imagens de 591 plantas (1182 imagens) tomadas na na safra de 2011 e estratificadas pelas combinações entre as variedades e os grupos de idades estudados . . . . 52 24 Regressões lineares entre o número de frutos contados pelo método au- tomático e o número de frutos contados manualmente nas imagens de 591 plantas (1182 imagens) tomadas na na safra de 2011 e estratificadas pelas combinações entre os setores do estado de São Paulo e os grupos de idades estudados . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53 xi 25 Regressões lineares entre as contagens e o total de frutos por planta para os métodos manual e automático avaliados em imagens tomadas na safra de 2011 (610 imagens de 305 plantas) . . . . . . . . . . . . . . . . . . 61 26 Comparação entre os métodos manual e automático de contagem de frutos em imagens de laranjeiras para estimativa do total de frutos por planta. Imagens estratificadas por grupos de idade e tomadas na safra de 2011 (610 imagens de 305 plantas) . . . . . . . . . . . . . . . . . . . . . . . 62 27 Regressões lineares entre as contagens e o total de frutos por planta para os métodos manual e automático de contagem de frutos em imagens de laranjeiras. Imagens estratificadas por grupos de idade e tomadas na safra de 2011 (610 imagens de 305 plantas) . . . . . . . . . . . . . . . . . . 63 28 Comparação entre os métodos manual e automático de contagem de frutos em imagens de laranjeiras para estimativa do total de frutos por planta. Imagens estratificadas por variedades e tomadas na safra de 2011 (610 imagens de 305 plantas) . . . . . . . . . . . . . . . . . . . . . . . . . 64 29 Regressões lineares entre as contagens e o total de frutos por planta para os métodos manual e automático de contagem de frutos em imagens de laranjeiras. Imagens estratificadas por variedades e tomadas na safra de 2011 (610 imagens de 305 plantas) . . . . . . . . . . . . . . . . . . . . 65 30 Regressões lineares entre as contagens e o total de frutos por planta para o método manual de contagem de frutos em imagens de laranjeiras. Imagens estratificadas pelas combinações entre variedades e grupos de idade e tomadas na safra de 2011 (610 imagens de 305 plantas) . . . . . . . . . 66 31 Regressões lineares entre as contagens e o total de frutos por planta para o método automático de contagem de frutos em imagens de laranjeiras. Imagens estratificadas pelas combinações entre variedades e grupos de idade e tomadas na safra de 2011 (610 imagens de 305 plantas) . . . . . 67 32 Comparação entre os métodos manual e automático de contagem de frutos em imagens de laranjeiras para estimativa do total de frutos por planta. Imagens estratificadas por setores do estado de São Paulo e tomadas na safra de 2011 (610 imagens de 305 plantas) . . . . . . . . . . . . . . . . 68 33 Regressões lineares entre as contagens e o total de frutos por planta para os métodos manual e automático de contagem de frutos em imagens de laranjeiras. Imagens estratificadas por setores do estado de São Paulo e tomadas na safra de 2011 (610 imagens de 305 plantas) . . . . . . . . . 68 xii 34 Comparação entre os métodos manual e automático de contagem de frutos em imagens de laranjeiras para estimativa do total de frutos por planta. Imagens estratificadas por regiões do estado de São Paulo e tomadas na safra de 2011 (610 imagens de 305 plantas) . . . . . . . . . . . . . . . . 69 35 Regressões lineares entre as contagens e o total de frutos por planta para os métodos manual e automático de contagem de frutos em imagens de laranjeiras. Imagens estratificadas por regiões do estado de São Paulo e tomadas na safra de 2011 (610 imagens de 305 plantas) . . . . . . . . . 70 1A Imagem de baixo-relevo simulado de uma laranjeira da variedade Hamlin, com idade entre 6 e 10 anos . . . . . . . . . . . . . . . . . . . . . . . 87 2A Imagem de baixo-relevo simulado de uma laranjeira da variedade Hamlin, com idade entre 6 e 10 anos . . . . . . . . . . . . . . . . . . . . . . . 87 3A Imagem de baixo-relevo simulado de uma laranjeira da variedade Valência, com idade entre 6 e 10 anos . . . . . . . . . . . . . . . . . . . . . . . 88 4A Imagem de baixo-relevo simulado de uma laranjeira da variedade Valência, com idade entre 6 e 10 anos . . . . . . . . . . . . . . . . . . . . . . . 88 5A Imagem de baixo-relevo simulado de uma laranjeira da variedade Valência, com idade maior que 10 anos . . . . . . . . . . . . . . . . . . . . . . . 88 6A Imagem de baixo-relevo simulado de uma laranjeira da variedade Valência, com idade maior que 10 anos . . . . . . . . . . . . . . . . . . . . . . . 89 7A Imagem de baixo-relevo simulado de uma laranjeira da variedade Valência, com idade entre 6 e 10 anos . . . . . . . . . . . . . . . . . . . . . . . 89 8A Imagem de baixo-relevo simulado de uma laranjeira da variedade Valência, com idade entre 6 e 10 anos . . . . . . . . . . . . . . . . . . . . . . . 89 9A Imagem de baixo-relevo simulado de uma laranjeira da variedade Valência, com idade entre 3 e 5 anos . . . . . . . . . . . . . . . . . . . . . . . . 90 10A Imagem de baixo-relevo simulado de uma laranjeira da variedade Valência, com idade entre 3 e 5 anos . . . . . . . . . . . . . . . . . . . . . . . . 90 11A Imagem de baixo-relevo simulado de uma laranjeira da variedade Hamlin, com idade entre 3 e 5 anos . . . . . . . . . . . . . . . . . . . . . . . . 90 12A Imagem de baixo-relevo simulado de uma laranjeira da variedade Hamlin, com idade entre 3 e 5 anos . . . . . . . . . . . . . . . . . . . . . . . . 91 13A Imagem de baixo-relevo simulado de uma laranjeira da variedade Hamlin, com idade entre 3 e 5 anos . . . . . . . . . . . . . . . . . . . . . . . . 91 14A Imagem de baixo-relevo simulado de uma laranjeira da variedade Hamlin, com idade entre 3 e 5 anos . . . . . . . . . . . . . . . . . . . . . . . . 91 xiii 1B Resultado da aplicação do algoritmo de contagem automática de frutos verdes em laranjeira Hamlin com idade entre 3 e 5 anos . . . . . . . . . . 93 2B Resultado da aplicação do algoritmo de contagem automática de frutos verdes em laranjeira Hamlin com idade entre 3 e 5 anos . . . . . . . . . . 93 3B Resultado da aplicação do algoritmo de contagem automática de frutos verdes em laranjeira Hamlin com idade entre 3 e 5 anos . . . . . . . . . . 94 4B Resultado da aplicação do algoritmo de contagem automática de frutos verdes em laranjeira Hamlin com idade entre 3 e 5 anos . . . . . . . . . . 94 5B Resultado da aplicação do algoritmo de contagem automática de frutos verdes em laranjeira Valência com idade entre 6 e 10 anos . . . . . . . . 94 6B Resultado da aplicação do algoritmo de contagem automática de frutos verdes em laranjeira Valência com idade entre 6 e 10 anos . . . . . . . . 95 7B Resultado da aplicação do algoritmo de contagem automática de frutos verdes em laranjeira Natal com mais de 11 anos de idade . . . . . . . . . 95 8B Resultado da aplicação do algoritmo de contagem automática de frutos verdes em laranjeira Hamlin com idade entre 6 e 10 anos . . . . . . . . . 95 9B Resultado da aplicação do algoritmo de contagem automática de frutos verdes em laranjeira Valência com mais de 11 anos de idade . . . . . . . 96 10B Resultado da aplicação do algoritmo de contagem automática de frutos verdes em laranjeira Valência com mais de 11 anos de idade . . . . . . . 96 11B Resultado da aplicação do algoritmo de contagem automática de frutos verdes em laranjeira Natal com mais de 11 anos de idade . . . . . . . . . 96 12B Resultado da aplicação do algoritmo de contagem automática de frutos verdes em laranjeira Hamlin com idade entre 6 e 10 anos . . . . . . . . . 97 13B Resultado da aplicação do algoritmo de contagem automática de frutos verdes em laranjeira Pêra com mais de 11 anos de idade . . . . . . . . . 97 14B Resultado da aplicação do algoritmo de contagem automática de frutos verdes em laranjeira Valência com idade entre 3 e 5 anos . . . . . . . . . 97 15B Resultado da aplicação do algoritmo de contagem automática de frutos verdes em laranjeira Valência com idade entre 3 e 5 anos . . . . . . . . . 98 16B Resultado da aplicação do algoritmo de contagem automática de frutos verdes em laranjeira Natal com idade entre 6 e 10 anos . . . . . . . . . . 98 17B Resultado da aplicação do algoritmo de contagem automática de frutos verdes em laranjeira Valência com idade entre 6 e 10 anos . . . . . . . . 98 1C Resultado da aplicação do algoritmo de contagem automática de frutos verdes em imagem tomada sem flash . . . . . . . . . . . . . . . . . . . 99 xiv 2C Resultado da aplicação do algoritmo de contagem automática de frutos verdes em imagem desfocada . . . . . . . . . . . . . . . . . . . . . . . 99 3C Resultado da aplicação do algoritmo de contagem automática de frutos verdes em imagem tomada contra a luz do sol e desfocada . . . . . . . . 100 4C Resultado da aplicação do algoritmo de contagem automática de frutos verdes em imagem tomada com a câmera muito próxima à copa da planta 100 5C Resultado da aplicação do algoritmo de contagem automática de frutos verdes em imagem tomada sem flash . . . . . . . . . . . . . . . . . . . 100 6C Resultado da aplicação do algoritmo de contagem automática de frutos verdes em imagem tomada com a câmera muito próxima à copa da planta 101 7C Resultado da aplicação do algoritmo de contagem automática de frutos verdes em imagem com incidência de luz solar direta sobre a planta . . . . 101 8C Resultado da aplicação do algoritmo de contagem automática de frutos verdes em imagem desfocada . . . . . . . . . . . . . . . . . . . . . . . 101 9C Resultado da aplicação do algoritmo de contagem automática de frutos verdes em imagem tomada contra o Sol . . . . . . . . . . . . . . . . . . 102 10C Resultado da aplicação do algoritmo de contagem automática de frutos verdes em imagem tomada sem flash . . . . . . . . . . . . . . . . . . . 102 11C Resultado da aplicação do algoritmo de contagem automática de frutos verdes em imagem de laranjeira com idade menor que 3 anos . . . . . . . 102 1D Implementação do filtro circular de Gabor em C++ para a geração de uma máscara espacial a ser utilizada nas funções de filtragem da biblioteca OpenCV (BRADSKI, 2015) . . . . . . . . . . . . . . . . . . . . . . . . 103 2D Implementação do algoritmo de reconhecimento e contagem de frutos verdes em imagens de laranjeiras. O algoritmo é aplicado a todos os arquivos .jpg do diretório informado como parâmetro no método e escreve os resultados em um arquivo de texto chamado results.txt nessa mesma pasta . . . . . 109 1 INTRODUÇÃO Dentre as tecnologias empregadas para melhorar o gerenciamento e a produti- vidade das culturas nos processos produtivos modernos, destacam-se o sistema de posicionamento global (GPS), sistemas de informações geográficas (GIS), sensoria- mento remoto (RS), tecnologia de taxa variada (VRT), mapeamento de produtividade e avanços em sensores e tecnologia da informação. Tais melhorias têm capacitado o pro- dutor a visualizar o campo de maneira ampla e detalhada, auxiliando no planejamento e diminuindo o desperdı́cio de recursos, considerando a variabilidade observada no campo (ANNAMALAI; LEE; BURKS, 2004). A cultura do citros é caracterizada por apresentar um comportamento alternado quanto à produção, resultado de mecanismos inerentes à planta relacionados com as reservas internas de energia. Esses mecanismos fazem com que exista uma variação temporal grande tanto na produtividade de frutos quanto na qualidade dos mesmos (ISAGI et al., 1997; NOGUCHI et al., 2003). Esse comportamento faz com que os métodos conhecidos de previsão não apresentem resultado satisfatório, tornando-se mais imprecisos à medida que o tempo da previsão aumenta (SAKAI; NOGUCHI; ASADA, 2008). Dessa maneira, é necessário um método de amostragem prático e eficiente, que possa ser efetuado regularmente a fim de se acompanhar a evolução das plantas. É importante destacar que o conhecimento e acompanhamento do comporta- mento das plantas individualmente torna-se cada vez mais importante, já que essa dinâmica de alteração de produtividade tem origem comprovadamente endógena, inerente à cada planta (SAKAI; NOGUCHI; ASADA, 2008), fazendo com que seja crucial um método de amostragem não destrutivo. Tradicionalmente, os métodos de recomendação de tratos culturais como adubação e calagem consideram as condições de solo e de clima, porém não consideram as condições inerentes às plantas, ou as tratam de maneira uniforme, como é o caso de análises foliares. Com o advento 1 2 da agricultura de precisão, um acompanhamento mais minucioso começa a ganhar vantagens práticas, tornando possı́vel o tratamento individual das plantas por meio de mapas detalhados e de equipamentos capazes de variar as taxas de aplicação com precisão espacial de centı́metros. Importantes tentativas de padronização e automatização da previsão de safra de citros foram realizadas. Sakai, Noguchi e Asada (2008) demonstraram que é possı́vel prever com razoável precisão (R2 = 0,78) a produtividade de plantas individuais para uma determinada estação usando a produtividade de dois anos anteriores como entradas para o modelo. Um sistema de previsão em tempo real mostrou resultados precisos (ANNAMALAI; LEE; BURKS, 2004), porém pode ser utilizado somente quando os frutos estão em estádios de maturação mais avançados, pois são segmentados nas imagens com base na sua coloração. Nessas condições, já não é mais possı́vel a aplicação de práticas culturais para melhorias na produtividade e nem tempo hábil para o planejamento comercial ou de industrialização do produto. O sistema desenvolvido por Triboni e Barbosa (2004) também incorre nesse problema, pois mostrou-se efetivo somente para a identificação e contagem de frutos maduros nas plantas. Há também um sistema desenvolvido e implementado para smartphones Android que se mostrou eficiente nas mesmas condições que os anterio- res. Mesmo com taxas de determinação de até 90% entre os valores de produtividade reais e os estimados para uma única árvore, o sistema é eficiente somente quando os frutos estão em estádios de maturação mais avançado (GONG et al., 2013). Nesse âmbito, as técnicas de amostragem ganham destaque especial tendo em vista que são essenciais para a descrição das áreas quanto às variáveis desejadas. Para que se possa tomar decisões de manejo da cultura, de compra e venda do produto ou a definição de mapas precisos de produtividade para uma determinada área, é necessário que se defina um método de amostragem confiável com um mı́nimo de amostras. O objetivo deste trabalho foi desenvolver um método automático e não- destrutivo para a contagem de frutos de laranja verdes em imagens de laranjeiras e 3 avaliar seu desempenho para a estimativa do número total de frutos presentes nas árvores. 2 REVISÃO DE LITERATURA 2.1 Estimativa da produção de citros Atualmente, o Brasil é o maior produtor de citros do mundo, com produção anual de aproximadamente 290 milhões de caixas de 40,8 kg. Nesse contexto, estado de São Paulo merece destaque por possuir a maior parte da área cultivada do paı́s (FUNDECITRUS, 2016). A estimativa da produtividade é um importante fator no planejamento de um processo produtivo. No caso dos citros, pode colaborar com o gerenciamento do processo industrial e servir como orientação para os produtores, apresentando papel decisivo no mercado do produto. Atualmente, não existe um método confiável e não-destrutivo bem estabelecido de estimativa da produção de citros. As estimativas utilizadas para planejamento da cadeia produtiva dependem das decisões baseadas na experiência de técnicos ao visitar os talhões, o que torna o procedimento altamente subjetivo e impreciso. Vários estudos de técnicas para estimativa da produção da cultura foram reali- zados. Folhas e frutos de citros foram analisadas a fim de se encontrar diferenças no espectro eletromagnético refletido (ANNAMALAI; LEE; BURKS, 2004) e facilitar o seu reconhecimento com o uso de imagens hiperespectrais. Imagens aéreas adquiridas com o auxı́lio de um veı́culo aéreo não tripulado foram utilizadas para segmentação e reconhecimento de frutos para a estimativa de produção (MACARTHUR et al., 2006). Sensores embarcados foram utilizados para a aquisição de imagens e posterior tra- tamento foi efetuado para a identificação e contagem de frutos (ANNAMALAI, 2004). Métodos de processamento de imagens digitais como a transformada de watershed são relatados na segmentação e divisão de frutos agrupados para contagens mais acuradas (CHINCHULUUN; LEE; BURKS, 2006). Ainda com relação às tentativas de estimativa da produção, imagens aéreas hiperespectrais foram utilizadas para o desenvolvimento preliminar de uma rede neural 5 6 artificial (YE et al., 2006) e, em um trabalho posterior, considerando que o número de folhas novas e vegetações florais estão relacionados com o número de frutos da planta (NOGUCHI et al., 2003), foram desenvolvidos modelos de quadrados mı́nimos para a predição de produtividade de citros utilizando também imagens hiperespectrais vários meses antes da colheita (YE et al., 2007), concluindo-se que a utilização de ı́ndices de vegetação e regressão múltipla linear não resultaram em boas predições. Mais recentemente foi avaliada a performance do ı́ndice TBVI (Two-Band Vegetation Index) na estimativa de produtividade de citros (YE et al., 2008) e a detecção de frutos verdes por meio de imagens hiperespectrais foi avaliada para estimativa (OKAMOTO; LEE, 2009). O uso de imagens digitais para a estimativa da produção de citros é promissor, já que é sabido que existe relação funcional entre o número de frutos visı́veis nas fotografias da copa das árvores e a produção total de frutos (TRIBONI; BARBOSA, 2004). No entanto, todos esses métodos citados apresentam limitações, exigindo mão- de-obra altamente especializada, equipamentos caros e geralmente baixo rendimento operacional (GONG et al., 2013), tornando-os inacessı́veis a pequenos e médios pro- dutores. De uma maneira geral, os métodos de previsão da produtividade necessitam de melhorias, haja vista que mesmo em imagens hiperespectrais, a detecção e conta- gem de frutos apresentou um grande número de falso-positivos, impossibilitando sua aplicação em um método de previsão. Dessa maneira, são necessários estudos mais aprofundados (OKAMOTO; LEE, 2009) já que a detecção de frutos maduros, mesmo com resultados bons para a estimativa, baixo custo e fácil aplicação (GONG et al., 2013) deve ser revista para que seja possı́vel ser aplicada em fases mais anteriores à colheita. A detecção de frutos imaturos não é uma tarefa simples principalmente devido à sua coloração, o que torna sua distinção da copa da planta e do plano de fundo da imagem uma tarefa desafiadora dada a sua similaridade com as folhas e outros frutos. Além disso, outras dificuldades importantes na identificação e segmentação dos frutos 7 ainda na árvore são: oclusão por folhas, ramos, outros frutos e iluminação não uniforme em condições de campo (KURTULMUS; LEE; VARDAR, 2011). 2.2 Processamento de imagens digitais O conceito de imagem refere-se a uma função de intensidade luminosa bidi- mensional, denotada por f(x, y), em que o valor ou amplitude de f nas coordena- das espaciais (x, y) consiste na intensidade (brilho) da imagem naquele ponto. Por convenção, a intensidade de uma imagem monocromática f nas coordenadas (x, y) será limitada a um intervalo [Lmin, Lmax] (escala de cinza) e é denominada de nı́vel de cinza daquele ponto. Cada ponto é denominado um elemento de imagem, ou pixel. Ao tomarmos uma imagem com uma câmera, estamos realizando nada mais que um procedimento de amostragem dessa função contı́nua (GONZALEZ; WOODS, 2000). O resultado desse procedimento é aproximado por amostras igualmente espaçadas, arranjadas na forma de uma matriz N ×M , em que cada elemento é uma quantidade discreta: f(x, y) =  f(0, 0) f(0, 1) · · · f(0,M − 1) f(1, 0) f(1, 1) · · · f(1,M − 1) ... f(N − 1, 0) f(N − 1, 1) · · · f(N − 1,M − 1)  Assim, fica evidente que, quanto maiores os valores de N e M , maior a quan- tidade de detalhes que uma imagem pode expressar. A isso denomina-se resolução espacial, em que quanto maior o seu valor, maior o tamanho da imagem. O mesmo raciocı́nio é válido para o número de nı́veis de cinza da imagem, responsáveis pela variação no brilho de cada pixel. As técnicas de processamento de imagens digitais se caracterizam por tentar reproduzir, fazendo uso de métodos estatı́sticos e matemáticos, os mecanismos de reconhecimento e interpretação do sistema de visão do ser humano. Nesse contexto, a textura dos objetos assume um papel de destaque na capacidade humana. Aparente- 8 mente, a interpretação de textura apresenta papel primordial, que pode ser facilmente salientado pela nossa interpretação de imagens em “preto-e-branco”. Mesmo sem o componente cor, ainda é possı́vel reconhecer e identificar objetos com uma boa precisão. Secundariamente, as cores nos fornecem detalhes adicionais que irão com- plementar as nossas inferências sobre os objetos em questão, servindo como um classificador mais detalhista e minucioso. 2.3 Filtros de Gabor Dentre os descritores estatı́sticos de textura, os filtros de Gabor são utilizados com frequência para essa finalidade (ZHANG; TAN; MA, 2002). Uma tentativa utilizando tal técnica foi feita por Kurtulmus, Lee e Vardar (2011) utilizando os filtros circulares de Gabor (ZHU; TANG; LU, 2004), que são relatados como bons descritores de textura assim como a aplicação do algoritmo de Gabor (GABOR, 1946) em diversos ângulos para a obtenção de matrizes caracterı́sticas. É feita uma análise de componentes principais após sua aplicação para a definição de um classificador denominado “eigen- fruit”, calculado com base nos autovalores e autovetores da matriz de covariâncias de subamostras de imagens de frutos. Os autores conseguiram classificar corretamente 75,3% do número real de frutos nas imagens, em condições de campo com iluminação variável, porém com taxas de falso-positivos chegando a mais de 40%. 2.4 O baixo-relevo simulado Um relevo é uma forma de escultura na qual um pedaço sólido de determinado material é cravado de maneira que figuras tridimensionais sejam representadas se destacando de um plano, geralmente relizadas em madeira, pedra ou metal. Os tipos de relevo mais importantes são o alto-relevo e o baixo-relevo. Alto-relevo é o tipo de escultura em que as figuras representadas se sobressaem ao plano de fundo, enquanto que, no baixo-relevo, as figuras são representadas com aprofundamentos mais discretos no material sólido sendo esculpido (JI; MA; SUN, 2014). 9 Para um melhor entendimento do conceito de relevo (mais especificamente de baixo-relevo), segue uma obra de Donatello esculpida em bronze utilizando a técnica de baixo-relevo (Figura 1). Nessa obra, ficam evidenciadas as caracterı́sticas básicas desse tipo de representação: • Modelagem: toda a cena é modelada de acordo com as leis da perspectiva (notável no arco presente no fundo e na parede à direita, perpendicular ao fundo); • Elevação: as figuras mais próximas apresentam maior elevação; • Linearidade: a forma e curvatura da representação ainda representam as formas originais, com as paredes, piso e teto sendo achatadas e não deformadas. Com base nessas considerações, dada a projeção perspectiva de uma cena tridimensional em um plano de visão, o baixo-relevo pode ser interpretado como uma representação em gravura tridimensional onde a elevação de cada ponto depende da distância do mesmo ao observador (CIGNONI; MONTANI; SCOPIGNO, 1997). Figura 1. “Milagre do coração do homem avaro”, de Donatello (DONATO DI NICCOLO DI BETTO BARDI, 1447), esculpida em bronze, 57 × 123 cm, Basilica di Sant’Antonio (Pádua, Itália) (WahooArt.com) 10 Como se pode notar na imagem, a representação em baixo relevo nos dá uma noção mais aprimorada de profundidade e textura. Assim, técnicas computadorizadas de obtenção de imagens de baixo-relevo a partir de cenas em três dimensões têm sido estudadas e avaliadas (BELHUMEUR; KRIEGMAN; YUILLE, 1999; CIGNONI; MONTANI; SCOPIGNO, 1997; JI; MA; SUN, 2014). Apesar da imagem ser uma representação em duas dimensões somente, a ideia central da obtenção dessas imagens é a simulação do efeito de escultura manual em um material sólido. A obtenção de imagens de baixo-relevo partindo-se de imagens digitais em duas dimensões envolve diversas técnicas de processamento de imagens digitais como detecção de contornos, melhoria da imagem, filtragem espacial e fusão, dentre outras (DURAND; DORSEY, 2002; PARIS; DURAND, 2006; WEISS, 2006; WANG, 2011). A detecção de contornos é um dos problemas fundamentais do processamento de imagens digitais e da visão computacional, podendo ser obtida por meio de diversos operadores já bem conhecidos como o Laplaciano, operador de Sobel, operador cruzado de Robert, operador de Prewitt e algoritmo de detecção de fronteiras de Canny (WANG, 2011). Uma imagem de baixo-relevo pode ser obtida como resultado da combinação desses métodos aplicados a uma imagem obtida com uma câmera digital comum, por exemplo. Dessa maneira, os filtros de baixo-relevo são importantes por destacarem ca- racterı́sticas inerentes à textura dos objetos, o que fica claro com relação às for- mas esféricas, que apresentam uma região de alto brilho e uma de baixo brilho, considerando-se uma única fonte de iluminação. O conceito de textura é importante na descrição de regiões em imagens, possibilitando a existência de medidas de proprie- dades como suavidade, rugosidade e regularidade. Sendo assim, podemos definir a textura como o padrão diferença de intensidade entre pixels em determinada proximi- dade ou vizinhança (GONZALEZ; WOODS, 2000), e o baixo-relevo simulado como um potencial descritor de textura. 11 2.5 Reconhecimento e Interpretação Após a etapa de extração de caracterı́sticas, segue a etapa de identificação e reconhecimento dessas caracterı́sticas seguida de sua classificação. Neste caso, trata-se da classificação de uma determinada região da imagem como sendo um fruto ou não. Para essa tarefa, há relatos da utilização de métodos de aprendizado de máquina como as redes neurais artificiais na estimativa do tamanho de frutos de laranja (REGUNATHAN; LEE, 2005), por exemplo. 2.5.1 O Aprendizado de Máquina e a Teoria de Aprendizado Estatı́stico O Aprendizado de Máquina (AM) consiste em um princı́pio de inferência no qual se obtém conclusões genéricas a partir de um conjunto de exemplos. Esse aprendi- zado pode ser de dois tipos: supervisionado ou não-supervisionado. No aprendizado supervisionado há um treinador, responsável pelo ajuste do algoritmo para a execução da tarefa, com exemplos na forma de entrada e saı́da desejada (exemplos positivos e negativos) (HAYKIN, 2004). Já o aprendizado não supervisionado dispensa o treina- dor, e as saı́das do algoritmo são avaliadas segundo um padrão de qualidade. Este tipo de aprendizado é aplicado com o objetivo de se encontrar padrões e tendências não definidos que auxiliem na compreensão de dados e não serão abordados neste trabalho. Nesse caso, portanto, há um conjunto de exemplos rotulados na forma de (xi, yi) onde cada xi representa um exemplo e cada yi representa sua classificação. Esse conjunto deverá ser apresentado ao algoritmo, também chamado preditor ou classificador para o seu treinamento e posterior classificação de novos dados de entrada. Quando esse procedimento assume a saı́da de valores contı́nuos, há um problema de regressão Quando assume a saı́da de inteiros, há um problema de classificação e quando há somente duas saı́das possı́veis (positivo ou negativo, por exemplo), há um problema de classificação binária (LORENA; CARVALHO, 2007). Assim é introduzida a Teoria de Aprendizado Estatı́stico (TAE), na qual seja 12 f um preditor ou classificador e F o conjunto de todos os possı́veis preditores que um algoritmo de aprendizado de máquina pode gerar. Esse algoritmo, durante seu processo de treinamento, faz uso de um conjunto de exemplos composto de n pares (xi, yi), a fim de se estabelecer um preditor f̂ ∈ F . A Figura 2 (SCHöLKOPF; SMOLA, 2002) mostra três possı́veis preditores f para a classificação dos padrões em “cı́rculos” ou “triângulos”. O primeiro, dito super-ajustado (overfitted), classifica corretamente os padrões do conjunto de treinamento, porém, por ser muito rigoroso e especı́fico, pode gerar erros quando dados diferentes o são apresentados. O último, dito sub-ajustado (underfitted), é passı́vel de cometer muitos erros, pois não há precisão na separação de exemplos bem próximos. O melhor classificador nesse caso seria o intermediário, que apresenta um erro tolerável e uma boa separação de elementos próximos à fronteira de separação. As redes neurais artificiais, usualmente chamadas somente de “redes neurais”, são um método de aprendizagem e modelagem computacional que tenta imitar as funções do cérebro humano. Sua aplicação é extremamente ampla em áreas com classificação, reconhecimento de padrões (como reconhecimento de faces e obje- tos, por exemplo), tomada de decisão, processamento de dados e agrupamento de informações. Regunathan e Lee (2005) relataram que a aplicação de tal técnica de reconhecimento e classificação nas matrizes caracterı́sticas de Gabor apresentaram (a) Super-ajustado (b) Bom ajuste (c) Sub-ajustado Figura 2. Três possı́veis preditores para a separação entre “cı́rculos” e “triângulos” 13 um resultado de até 80% de identificação correta de frutos de laranja, nas imagens utilizadas para a validação do método. Uma outra técnica muito importante para o reconhecimento de padrões são as máquinas de vetores de suporte (ou SVM, do inglês Support Vector Machines). Assim como as redes neurais, as SVMs necessitam de uma etapa de aprendizagem e, após a calibração, atuam como um classificador de padrões. Sua utilização também é bastante ampla, com resultados positivos em diversas aplicações, como o reconhecimento e classificação de maçãs, combinada com a extração de caracterı́sticas utilizando a limiarização de Otsu (OTSU, 1975), por exemplo (MIZUSHIMA; LU, 2013). Os autores verificaram erros na segmentação variando de 3 a 25% usando uma SVM linear e erros menores que 2% utilizando um método ajustável para o classificador. 2.5.2 Máquinas de Vetores de Suporte (SVMs) As Máquinas de Vetores de Suporte são classificadores de margem máxima. Ao invés de atribuir modelos distribuições de probabilidade aos vetores de treinamento, as SVMs tentam separar as diferentes classes buscando diretamente as fronteiras adequadas entre elas. Para esse propósito, elas constroem hiperplanos na região de separação entre tais classes (KEUCHEL et al., 2003). Esse método de reconhecimento tem larga aplicação no processamento de imagens na área da agricultura. Sua aplicação é relatada como melhor método de reconhecimento e classificação de áreas de dendezeiro (Elaeis guineensis) através de imagens de satélite, tendo destaque por apresentar resultados positivos de desem- penho na classificação mesmo com um conjunto de treinamento pequeno (LI et al., 2015). Também é reportado como um dos melhores métodos no reconhecimento e classificação de diferentes variedades de sementes de colza (Brassica napus) (KUR- TULMUS; ÜNAL, 2015), e atingiu 100% de classificações corretas quanto à qualidade de mangas (Mangifera indica), superando todos os outros métodos de classificação testados (SA’AD et al., 2015). Além do mais, seu uso estende-se à área da flori- 14 cultura, apresentando bons resultados na detecção de folhas de roseiras (Rosa sp.) doentes (NAGASAI; RANI, 2015). 3 MATERIAL E MÉTODOS 3.1 Estimativa do número de frutos por planta A relação entre o número de frutos visı́veis nas imagens digitais das plantas e o número total de frutos presente na mesma foi avaliada através de análise de regressão linear. As imagens foram obtidas com a colaboração da empresa Citrosuco, durante o mês de maio, na safra de 2011. Foram coletadas 1328 imagens, obtidas em condições de campo, em diversas horas do dia e diferentes condições de clima e de iluminação. Foram utilizadas câmeras digitais amadoras (Sony modelo DSC-W530), na resolução de 2592 × 1944 pixels (aproximadamente 5 Megapixels), com flash ligado e sem aplicação de zoom ótico ou digital. A foto foi identificada quanto à variedade, idade da planta, setor e região do estado de São Paulo. Os testes foram realizados em fotos de laranjeiras de quatro variedades, três grupos de idade, dois setores e cinco regiões (Tabela 1). Cada planta foi fotografada duas vezes (uma de cada lado acessı́vel da copa), a 2 m da copa e, logo após, todos os seus frutos foram derriçados e contados manu- almente. A automação de um método ou procedimento é sempre algo muito atrativo, pois traz o potencial de ganho de tempo e precisão ao executar tarefas. Portanto, a avaliação do desempenho de um novo método deve ser realizada com a comparação desse método com um já conhecido e confiável. Nesse caso, o método automático desenvolvido para a contagem de frutos de laranja em imagens digitais foi comparado Tabela 1. Classificação das plantas fotografadas para posterior estratificação dos resul- tados Variedades Idades Setores Regiões Hamlin de 3 a 5 anos Centro Araraquara Natal de 6 a 10 anos Sul Bauru Pêra 11 anos ou mais Itápolis Valência Matão Taquaritinga 15 16 com um método preciso, onde todos os frutos visı́veis das imagens foram contados manualmente por avaliadores em monitores digitais. Foi desenvolvido um aplicativo para auxiliar no procedimento de contagem dos frutos visı́veis nas imagens manualmente. Assim, tornaram-se possı́veis os estudos da relação entre o número de frutos visı́veis nas imagens e o número total de frutos derriçados da planta, da relação entre o número de frutos contados pelo método automatizado desenvolvido neste trabalho e o número de frutos visı́veis nas imagens e, por fim, entre o número de frutos contados automaticamente e o número de frutos total obtido na derriça das plantas. O tempo despendido nas contagens manuais e automáticas dos frutos nas imagens também foi monitorado e avaliado. O método automático de contagem, assim como o manual, foi aplicado a to- das as imagens. Nas análises de regressão linear, efetuadas com o uso do soft- ware R (R CORE TEAM, 2015), foram observados os valores do coeficiente angular da reta, do intercepto, do coeficiente de determinação (R2) e do teste F para o ajuste do modelo. Todos os procedimentos de processamento de imagens utilizados neste trabalho foram realizados pela implementação de procedimentos em C++ fazendo uso da biblioteca de visão computacional OpenCV (BRADSKI, 2015) em um computador com sistema operacional baseado em Unix e com processador de 2,4 GHz Intel Core i5 e 8 GB de memória RAM de 1600 MHz DDR3. A extração das caracterı́sticas dos frutos verdes baseou-se em análise de textura, contexto no qual foram testados os descritores de textura de Gabor e um método de geração de imagens de baixo-relevo simulado a partir de imagens digitais tradicionais de duas dimensões. 3.2 Filtros de Gabor Os filtros de Gabor (GABOR, 1946) são amplamente utilizados em processa- mento de sinais e também processamento de imagens digitais. Tais filtros têm sido utilizados com frequência para a extração de caracterı́sticas, baseando-se na textura 17 dos objetos (KURTULMUS; LEE; VARDAR, 2011; GRIGORESCU; PETKOV; KRUI- ZINGA, 2002; FOGEL; SAGI, 1989; PRASAD; DOMKE, 2005; LAGAE et al., 2009; JAIN; MURTY; FLYNN, 1999). Basicamente, uma imagem (ou uma janela da imagem durante o processo de convolução) I(x, y), (x, y) ∈ Ω, com Ω sendo o conjunto de pontos da imagem, é convoluı́da por de uma função de duas dimensões de Gabor dada por g(x, y), (x, y) ∈ Ω para se obter uma imagem caracterı́stica de Gabor r(x, y), dada por: r(x, y) = ∫∫ Ω I(ξ, η)g(x− ξ, y − η)dξdη Foi utilizada a seguinte famı́lia dos filtros de Gabor: gλ,θ,φ(x, y) = e − ( x′2+γ2y′2 2σ2 ) cos ( 2π x′ λ + φ ) onde, x′ = x cos θ + y sin θ, y′ = −x sin θ + y cos θ, σ = 0,56λ e γ = 0,5. Para o experimento, foi avaliado um banco de filtros de Gabor simétricos. O banco foi composto por cinco filtros resultantes de cinco diferentes orientações equidis- tantes (θ = k(φ/8), k = 0, 1, 2, 3, 4). Além disso, os filtros de Gabor são muito úteis na detecção da direção de texturas. Essa é a principal vantagem do filtro de Gabor tradicional, desenvolvido para sinais de uma única dimensão. No entanto, o comportamento sinuosidal do filtro tradicional de Gabor se torna menos importante na análise de texturas rotacionadas, quando a orientação da textura não é levada em consideração. Assim, se a sinuosidade varia em todas as direções, pode-se dizer que ela é circular simétrica, resultando em uma nova versão dos filtros de Gabor. O filtro circular de Gabor é definido por (ZHANG; 18 TAN; MA, 2002; PORTER; CANAGARAJAH, 1997): G(x, y) = g(x, y) e2πiF ( √ x2+y2) onde F é a frequência central do filtro circular de Gabor e g(x, y) é um envelope gaussiano de duas dimensões, definido como isotrópico e obtido por: g(x, y) = ( 1 2πσ2 ) e −x 2+y2 2σ2 Assim, pela fórmula de Euler eix = cos x+ i sen x (HAZEWINKEL, 2013) podemos obter as partes real e imaginária resultantes da aplicação do filtro. A parte real portanto é dada por: GR(x, y) = ( 1 2πσ2 ) e −x 2+y2 2σ2 cos 2πF (√ x2 + y2 ) e a parte imaginária por: GI(x, y) = ( 1 2πσ2 ) e −x 2+y2 2σ2 sen 2πF (√ x2 + y2 ) As propriedades dos filtros circulares de Gabor podem também ser explicitadas em seu respectivo domı́nio da frequência, sendo a representação de Fourier do filtro circular de Gabor dada por: F (u, v) = √ 2π 2 α e − ( √ u2+v2−F )2 2α2 onde α = 1 2πσ . Para a execução dos testes, foi feita uma implementação dos filtros circulares de Gabor com o auxı́lio dos métodos e classes da biblioteca OpenCV (BRADSKI, 2015) em C++ (Figura 1D). 3.3 Geração das imagens de baixo-relevo simulado As imagens em baixo-relevo foram obtidas por meio da combinação das técnicas de conversão do modelo de cores, limiarização, equalização do histograma de nı́veis de cinza, filtragem espacial pelos operadores Laplaciano e de Sobel e suavização gaussiana (Figura 3). 19 Imagem de entrada Conversão para HSV SH V Equalização do histograma Limiarização (plano de fundo) Suavização Gaussiana Filtragem (Laplace) Filtragem (Sobel) É plano de fundo? Cor = 80 (cinza) Suavização Gaussiana Baixo-relevo simulado sim não Figura 3. Diagrama de fluxo do algoritmo proposto para a geração de imagens de baixo-relevo simulado 3.3.1 Conversão do modelo de cores Os modelos de cores têm como propósito facilitar a exibição ou especificação de cores de acordo com um determinado padrão. Sendo assim, um modelo de cores é uma especificação de um sistema de coordenadas tridimensionais e um subespaço dentro desse sistema, onde cada cor é representada por um único ponto (GONZA- LEZ; WOODS, 2000). O modelo padrão em que imagens digitais são tomadas e 20 armazenadas é o RGB (Red, Green, Blue). Neste trabalho foi utilizado essencialmente o modelo HSV (Hue, Saturation, Value, ou Matiz, Saturação e Valor). Nesse modelo, o primeiro valor desceve uma cor pura, o segundo dá uma medida do grau de pureza dessa cor (variando de totalmente preto a totalmente pura) e o terceiro representa o brilho daquele ponto. Os valores de H, S e V foram obtidos por meio da conversão do modelo RGB, dada por: R′ = R/255 G′ = G/255 B′ = B/255 Cmax = max(R′, G′, B′) Cmin = min(R′, G′, B′) ∆ = Cmax − Cmin H =  0◦, se ∆ = 0 60◦ × ( G′−B′ ∆ mod 6 ) , se Cmax = R′ 60◦ × ( B′−R′ ∆ + 2 ) , se Cmax = G′ 60◦ × ( R′−G′ ∆ + 4 ) , se Cmax = B′ S =  0, se Cmax = 0 ∆ Cmax , se Cmax 6= 0 V = Cmax 21 3.3.2 Limiarização global simples Assumindo-se que a cada pixel da imagem é atribuı́do um valor numérico inteiro (valor do nı́vel de cinza), é possı́vel se elaborar um histograma de nı́veis de cinza, indicando as frequências em que cada valor ocorre. A limiarização global simples consiste no particionamento do histograma por um limiar arbitrário. A segmentação é então efetuada, varrendo-se a imagem pixel a pixel e rotulando-se cada um como pertencente a uma das duas classes obtidas no particionamento do histograma (GON- ZALEZ; WOODS, 2000). De uma maneira mais abrangente, a limiarização pode ser definida como uma operação que testa uma função T da forma T = T [x, y, p(x, y), f(x, y)] onde f(x, y) é o nı́vel de cinza do ponto (x, y) e p(x, y) se refere a uma propriedade local desse ponto, como o nı́vel de cinza médio de uma vizinhança com centro em (x, y). A imagem limiarizada g(x, y) é então g(x, y) = 1, se f(x, y) > T 0, se f(x, y) ≤ T . Após a conversão para o modelo de cores HSV, o primeiro canal do modelo (Hue, ou ângulo da cor) foi utilizado para a limiarização, removendo-se as faixas de valores referentes aos tons avermelhados e azulados das imagens, responsáveis por representar ramos, solo e céu. 3.3.3 Convolução A convolução de duas funções f(x) e g(x), representada por f(x) ∗ g(x) é obtida por meio da integral f(x) ∗ g(x) = ∫ ∞ −∞ f(α)g(x− α) dα 22 que, analogamente, para o caso de duas dimensões, é definida por f(x, y) ∗ g(x, y) = ∞∫∫ −∞ f(α, β)g(x− α, y − β) dα dβ. Para a aplicação em imagens, a convolução bidimensional de f(x, y) por uma matriz g(x, y) deve ser discretizada. Portanto, considerando-se os erros de revesti- mento, o que na prática se resume à perda das bordas de f(x, y) com tamanho de- pendendo das dimensões de g(x, y), a convolução bidimensional discreta de fe(x, y) por ge(x, y) é definida pela relação fe(x, y) ∗ ge(x, y) = 1 MN M−1∑ m=0 N−1∑ n=0 fe(m,n)ge(x−m, y − n). Neste trabalho, diferentes ge(x, y) serão denominadas máscaras espaciais, que serão aplicadas com a finalidade de se extrair ou destacar determinadas caracterı́sticas nas imagens fe(x, y). 3.3.4 Filtragem espacial A utilização de máscaras espaciais no processamento de imagens digitais é denominada filtragem espacial. Basicamente, os filtros ou máscaras espaciais são classificados de acordo com as frequências das caracterı́sticas que eles destacam. Pelo conceito de frequência, entende-se que transições de nı́veis de cinza mais abruptas entre pixels vizinhos qualificam altas frequências enquanto que transições mais suaves caracterizam baixas frequências. Os filtros passa-baixas atenuam ou eliminam os componentes de alta frequência enquanto mantém as baixas frequências inalteradas, resultando em um efeito de borramento na imagem e suavizando bordas e outros detalhes finos. Já os filtros passa-altas são utilizados frequentemente como detectores de fronteiras, pois atenuam ou eliminam os componentes de baixa frequência mantendo inalterados os de alta frequência, gerando um efeito de realce de detalhes. 23 Como exemplo de filtro passa-baixas tem-se a máscara da média da vizinhança, dada por 1 9 ×  1 1 1 1 1 1 1 1 1  e, como exemplo de filtro passa-altas, tem-se 1 9 ×  −1 −1 −1 −1 8 −1 −1 −1 −1  . 3.3.5 Ajustes de iluminação Como as imagens são obtidas em áreas abertas, suscetı́veis a variações nas condições de iluminação, e as copas das plantas são irregulares, é imprescindı́vel uma etapa de ajuste e equalização do histograma de nı́veis de cinza das imagens. Dentre as técnicas empregadas para essa finalidade, as mais comuns são a utilização do logaritmo e a equalização do histograma de nı́veis de cinza (SAVVIDES; KUMAR, 2003; KURTULMUS; LEE; VARDAR, 2011; GONZALEZ; WOODS, 2000), que foram aplicadas ao componente de intensidade (V) do modelo de cores HSV. 3.3.6 O operador de Sobel A detecção de descontinuidades é comumente efetuada por meio da varredura da imagem por uma máscara especı́fica, capaz de salientar as caracterı́sticas deseja- das. Dessa maneira, tais máscaras são definidas a fim de serem detectores de pontos, linhas e bordas. Uma borda é um limite entre duas regiões com propriedades relativamente distintas de nı́vel de cinza. Basicamente, a ideia por trás da maioria das técnicas para a detecção de bordas é a computação de um operador local diferencial. Dessa maneira, a transição entre nı́veis de cinza é modelada de acordo com a diferença entre esses 24 nı́veis, e representada de acordo com a intensidade da variação. Dentre os operadores responsáveis pela detecção de bordas, podemos citar os operadores de gradiente. Neles, o gradiente de uma imagem f(x, y) na posição (x, y) é dado pelo vetor: ∇f = Gx Gy  = ∂f∂x ∂f ∂y  . A partir de análise vetorial é sabido que o vetor gradiente aponta na direção de mudança mais rápida de f na posição (x, y). A magnitude desse vetor é denominada gradiente e dada por: ∇f = mag(∇f) = [G2 x +G2 y] 1/2. Essa quantidade equivale à maior taxa de aumento de f(x, y) por unidade de distância na direção de∇f . Uma aproximação para o gradiente com valores absolutos, de mais simples implementação, é dada por: ∇f ≈ |Gx|+ |Gy|. É possı́vel também se obter a direção do vetor gradiente, dado por α(x, y) como sendo o ângulo com o eixo x da direção do vetor∇f na posição (x, y) e obtida por meio de análise vetorial por: α(x, y) = tan−1 ( Gy Gx ) . Assim, podemos definir os operadores de Sobel como sendo operadores de gradiente, responsáveis pela detecção de bordas na horizontal e na vertical, com a vantagem de fornecerem de uma única vez, os efeitos de diferenciação e de suavização. Uma vez que a derivação aumenta o ruı́do da imagem, o efeito de suavização é uma caracterı́stica particularmente atrativa dos operadores de Sobel (GONZALEZ; WOODS, 2000). Em uma região de uma imagem de tamanho 3× 3 dada por: z1 z2 z3 z4 z5 z6 z7 z8 z9  , 25 ao utilizarmos as máscaras de Sobel, dadas por: −1 −2 −1 0 0 0 1 2 1  e  −1 0 1 −2 0 2 −1 0 1  , ficam definidas as respectivas derivadas baseadas nessas máscaras: Gx = (z7 + 2z8 + z9)− (z1 + 2z2 + z3) e Gy = (z3 + 2z6 + z9)− (z1 + 2z4 + z7) em que os valores de z são os nı́veis de cinza dos pixels sobrepostos pelas máscaras em qualquer posição da imagem. Os cálculos resultam em um único valor no centro da máscara aplicada e um novo valor deve ser calculado para cada pixel da imagem, respeitando-se as limitações das bordas e do tamanho da máscara. Após o cálculo para todos os pontos tem-se como resultado uma nova imagem indicando as bordas encontradas. 3.3.7 O operador laplaciano O laplaciano de uma função bidimensional f(x, y) é uma derivada de segunda ordem definida por: ∇2f = ∂2f ∂x2 + ∂2f ∂y2 . Como no caso dos operadores de Sobel, essa equação pode ser implementada na forma digital de diferentes maneiras. Para o caso de uma região 3× 3, as formas de 26 máscaras mais frequentemente encontradas na prática são: 0 −1 0 −1 4 −1 0 −1 0  e  −1 −1 −1 −1 8 −1 −1 −1 −1  em que ficam definidas as equações derivadas dessas máscaras como: ∇2f = 4z5 − (z2 + z4 + z6 + z8) e ∇2f = 8z5 − (z1 + z2 + z3 + z4 + z6 + z7 + z8 + z9), onde novamente os valores de z são os nı́veis de cinza dos pixels sobrepostos pela máscara. Para a definição do laplaciano digital, é necessário que o coeficiente asso- ciado com o pixel central seja positivo e que os outros coeficientes externos sejam negativos. Além disso, uma vez que esse operador é uma derivada, a soma de seus coeficientes deve ser nula. Dessa maneira, o resultado da aplicação da máscara é nulo sempre que os pixels vizinhos de coeficiente não nulo apresentem mesmo valor que o pixel central. No entanto, mesmo apresentando resposta a transições na intensidade dos pixels, ele é pouco utilizado dessa maneira para a detecção de bordas. Isso é ex- plicado pelo fato de ser uma derivada de segunda ordem, o operador laplaciano é especialmente sensı́vel a ruı́dos de uma maneira inaceitável. Também é importante o fato que ele produz bordas duplas, o que o torna incapaz de detectar a direção das bordas. Por esses motivos, o operador laplaciano comumente ocupa papel secundário como um detector para evidenciar se um pixel está no lado claro ou escuro de uma borda (GONZALEZ; WOODS, 2000). 27 O laplaciano apresenta um uso mais geral de localização de bordas por meio da propriedade dos cruzamentos por zero, baseada na convolução da imagem com o laplaciano de uma função gaussiana bidimensional dada por: ∇2(x, y) = − 1 πσ4 [ 1− x2 + y2 2σ2 ] e −x 2+y2 2σ2 onde σ é o desvio padrão (MARR; HILDRETH, 1980). 3.4 Segmentação e contagem dos frutos 3.4.1 Máscaras espaciais As gravuras de baixo-relevo destacam as formas esféricas de maneira particular. Quando há uma fonte de iluminação de incidência superior à posição da forma esférica, fica estabelecido um padrão de brilho bem definido: a parte visı́vel da semi-esfera superior apresentando um alto valor de brilho e a parte visı́vel da semi-esfera inferior um baixo valor. Isso permitiu a definição de duas máscaras de filtragem espacial, capazes de detectar os frutos nas imagens pré-processadas, de diversas dimensões. No caso das máscaras 6× 6, temos: 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0  e  0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1  . 28 A filtragem da imagem por cada uma dessas máscaras dá origem a duas novas matrizes. A divisão da primeira pela segunda (pixel a pixel correspondente) resulta na etapa de inı́cio da identificação, com os frutos evidenciados por meio de valores mais altos do que o restante da imagem. Foi definido um limiar arbitrariamente para a segmentação dos mesmos, que seguirão para as próximas etapas de reconhecimento. 3.4.2 Máquinas de Vetores de Suporte (SVMs) Logo após uma primeira identificação dos frutos por meio dos valores de razão de suas partes superior e inferior, faz-se necessário o uso de métodos mais robustos para o reconhecimento, tendo-se em vista que as imagens das laranjeiras trazem inúmeros formatos, posições e texturas de folhas, que poderão ser confundidas com frutos mesmo nas imagens de baixo-relevo simulado. Para essa próxima etapa de reconhecimento foram utilizadas Máquinas de Vetores de Suporte (SVMs). SVMs de margens rı́gidas definem limites lineares a partir de dados linearmente separáveis. Seja T um conjunto de treinamento com n dados xi ∈ X e seus respectivos rótulos yi ∈ Y , em queX constitui o espaço dos dados e Y = {−1,+1}. T é linearmente separável caso seja possı́vel separar os dados das classes +1 e−1 por meio de um hiperplano dado por f(x) = w · x + b = 0 onde w ·x é o produto escalar entre os vetores, w ∈ X é o vetor normal ao hiperplano descrito e b ‖w‖ é a distância do hiperplano em relação à origem, com b ∈ R. Assim é possı́vel se obter uma função sinal g(x) = sgn(f(x)) para ser empregada na obtenção das classificações, como exemplifica a Figura 4 (LORENA; CARVALHO, 2007). g(x) = sgn(f(x)) = +1, se w · x + b > 0 −1, se w · x + b < 0. Os limites da margem de separação dos dados devem ser calculados mediante restrições que garantam que não haja dados de treinamento entre as margens de 29 Figura 4. Hiperplanos para separação entre classes de “cı́rculos” e “triângulos” por meio de Máquinas de Vetores de Suporte (SVMs) separação das classes, o que dá o nome a esse tipo de SVM como SVM de margens rı́gidas. A etapa final de definição desses limites para classificação recai em um problema de otimização quadrático, cuja solução possui uma ampla e estabelecida teoria matemática (SCHöLKOPF; SMOLA, 2002). Como a função objetivo sendo minimizada é convexa e os pontos que satisfazem as restrições formam um conjunto convexo, o problema possui um mı́nimo global. Tal tipo de problema pode ser resolvido com a introdução de uma função Lagrangiana, englobando as restrições à função objetivo, associadas a parâmetros denominamos multiplicadores de Lagrange αi, podendo ser expressa por L(w, b, α) = 1 2 ‖w‖2 − n∑ i=1 αi(yi(w · xi + b)− 1). 3.4.3 A transformada de Hough A transformada de Hough (HOUGH, 1962) propõe uma abordagem eficiente para o reconhecimento de retas em imagens. Considerando o ponto (xi, yi) e uma 30 reta yi = axi + b, infinitas retas passam por (xi, yi) satisfazendo a equação citada, para diferentes valores de a e b. No entanto, é possı́vel escrever essa reta como b = −xia+ y e, como os valores de xi e yi são conhecidos, a representação dessa nova notação no espaço de parâmetros (eixos x e y substituı́dos por a e b) é dada que cada ponto (xi, yi) descreve uma reta correspondente. Quando três ou mais retas se interceptam em um único ponto (a′, b′), os pontos correspondentes (xi, yi) pertencem a uma mesma reta yi = axi + b. Agora considerando-se a equação de uma circunferência (x− c1)2 + (y − c2)2 = c23 a aplicação da transformada de Hough para a detecção de cı́rculos ocorre de forma análoga. A diferença básica é a presença de três parâmetros (c1, c2 e c3), que resultam em um espaço de parâmetros tridimensional. O procedimento então é incrementar c1 e c2 e achar o c3 que resolve a equação da circunferência, seguido da atualização do acumulador correspondente (GONZALEZ; WOODS, 2000). 3.4.4 Estratégia utilizada pelo algoritmo de reconhecimento dos frutos Como as imagens das plantas foram obtidas por diversos amostradores, em diversos tamanhos de plantas e com diversos tamanhos de frutos, foi necessária a implementação de cinco classificadores distintos para a detecção dos frutos. Isso significa que cada classificador ficou responsável pela classificação de um tamanho de fruto (Figura 5). Tanto os classificadores preliminares (baseados em máscaras espaciais) quanto as SVMs foram subdivididos. Essa subdivisão permitiu um treinamento mais especı́fico das SVMs, aumentando consideravelmente o seu poder de detecção, sem aumentar a quantidade de falso-positivos. Foi observado nos testes que quanto menor a distância entre a câmera e a copa da planta, maior a quantidade de falso-positivos detectados. Esses casos ocorriam em sua quase totalidade nos padrões de detecção de menores dimensões, por confundirem 31 Baixo-relevo simulado (1024×768 px) Varredura Filtragem (36×28 px) Filtragem (28×24 px) Filtragem (24×20 px) Filtragem (40×32 px) Filtragem (56×48 px) SVM (36×28 px) SVM (28×24 px) SVM (24×20 px) SVM (40×32 px) SVM (56×48 px) É fruto? Marcação (cı́rculo) Detector de cı́rculos (Hough) Contagem de cı́rculos Continuar varredura não sim Figura 5. Diagrama de fluxo da estratégia de reconhecimento e contagem de frutos em imagens de baixo-relevo simulado de laranjeiras as folhas (maiores nesses casos) com frutos. Por esse motivo, foi implementada uma regra que desconsiderava os resultados desses padrões dependendo da quantidade de frutos detectada pelos padrões de maiores dimensões. 32 Por fim, todas as detecções foram armazenadas em uma imagem binária repre- sentadas por cı́rculos de raio proporcional ao tamanho do padrão reconhecido. Assim, os frutos reconhecidos por mais de um padrão resultavam em marcações sobrepostas na imagem, evitando a contagem múltipla de um único fruto. Essa imagem binária foi submetida ao detector de cı́rculos de Hough (YUEN et al., 1989) e a contagem de frutos final foi igual ao número de cı́rculos detectados. 3.5 Determinação do número de imagens necessário para a estimativa do nú- mero de frutos visı́veis por planta Após a definição dos modelos para a estimativa do número de frutos visı́veis por planta, calcularam-se os desvios proporcionais das estimativas, a fim de se calcular o número de unidades amostrais necessário para uma estimativa da média considerando um erroD tolerável, dado em porcentagem. O cálculo foi efetuado com base no método do dimensionamento de amostras para amostragem de tamanho fixo, calculado com base nas definições de intervalo de confiança para a média e após a coleta de uma amostra prévia (THOMPSON, 1992), e dado por n = t2 s2 D2 onde t é o valor encontrado para a distribuição t de Student com n − 1 graus de liberdade ao nı́vel α = 5% de probabilidade, s2 é a variância dos desvios proporcionais e D é a porcentagem de erro tolerada para a estimativa da média. 4 RESULTADOS E DISCUSSÃO 4.1 Extração das caracterı́sticas dos frutos com uso dos filtros de Gabor A etapa mais complexa e desafiadora do processamento de imagens digitais é a segmentação da caracterı́stica desejada, principalmente em condições variadas de aquisição das imagens (ZHAO et al., 2015). A extração de caracterı́sticas texturais por meio dos filtro de Gabor é muito utilizada no processamento de imagens digitais, apresentando um bom desempenho em diversas aplicações, como em imagens de satélite (JAIN; SINHA, 2015) e também tendo seu uso relatado na detecção de padrões circulares (ZHU; TANG; LU, 2004). Motivando-se no trabalho de Kurtulmus, Lee e Vardar (2011), que faz uso de tais filtros para a detecção de laranjas verdes, testes dessa técnica foram efetuados para avaliação de sua capacidade de extração das caracterı́sticas dos frutos. Esses filtros são conhecidos por aplicações em duas variantes: o filtro tradicional e o filtro circular de Gabor. A variante tradicional do filtro permite a extração das caracterı́sticas de textura em um determinado ângulo, enquanto que a variante circular executa tal tarefa de maneira radial (ZHU; TANG; LU, 2004). Foram avaliados os efeitos do filtro circular (Figura 6) e do filtro tradicional em cinco direções (0◦, 45◦, 90◦, 135◦e 180◦) (Figura 7). Como esperado, os filtros se mostraram bons descritores de textura, evidenci- ando razoavelmente alguns frutos nas imagens. No entanto, uma observação mais minuciosa revela que existem diversas regiões da imagem onde folhas são facilmente confundidas com frutos. Isso explica o motivo pelo qual, mesmo utilizando uma tomada de decisão baseada na maioria de votos entre as técnicas de limiarização adapta- tiva, banco de filtros de Gabor e filtro circular de Gabor, a quantidade de detecções incorretas variou entre 27% e 40%, aproximadamente (KURTULMUS; LEE; VARDAR, 2011). Esses resultados demonstraram que o método não apresenta o desempenho ne- cessário para uma segmentação aceitável dos frutos verdes, levando-o a ser rejeitado 33 34 (a) σ = 0,47, F = 0,32 (b) σ = 0,56, F = 0,32 Figura 6. Resultados de duas aplicações do filtro circular de Gabor com diferentes valores para o parâmetro σ à componente brilho do modelo HSV em imagem da copa de uma laranjeira para os testes de reconhecimento e interpretação. 4.2 Extração das caracterı́sticas dos frutos com o uso de imagens de baixo- relevo simulado Foi possı́vel evidenciar os frutos nas imagens das copas das laranjeiras por meio de uma combinação das técnicas de conversão do modelo de cores, limiarização, suavização gaussiana e de filtragem espacial com as máscaras de Sobel e Laplace. Como pode ser observado na Figura 8, as fotos tomadas em campo apresentam uma grande quantidade de elementos indesejáveis que precisam ser identificados e removidos antes dos procedimentos de reconhecimento e contagem dos frutos, como o solo, o céu e as plantas daninhas. Além disso, é importante se atentar para a dificuldade de reconhecimento dos frutos na própria planta, que se confundem muito facilmente com os outros elementos da copa. Nesta seção serão descritos e ilustrados os passos para a obtenção das imagens de baixo relevo simulado que possibilitaram o destacamento dos frutos verdes em diferentes tamanhos. A conversão do modelo de cores da imagem para HSV é muito utilizada como 35 (a) Imagem original (b) θ = 0◦ (c) θ = 45◦ (d) θ = 90◦ (e) θ = 135◦ (f) θ = 180◦ Figura 7. Imagem original e banco de filtros tradicionais de Gabor aplicados à compo- nente de brilho do modelo HSV em cinco direções 36 Figura 8. Imagem original de uma laranjeira com frutos verdes, tomada com uma câmera digital comum técnica preliminar de processamento de imagens, por possibilitar a segmentação das cores através de uma escala numérica. Na agricultura, sua aplicação inclui a segmentação das plantas do solo em diferentes condições de iluminação (YANG et al., 2015a), segmentação e classificação de diversas culturas com plantas verdes do solo e céu (GUIJARRO et al., 2015), classificação de fibras coloridas de algodão (MUSTAFIC; LI, 2015), determinação dos parâmetros de cor de cerejas durante o processo de maturação (TAGHADOMI-SABERI et al., 2015), acompanhamento do crescimento do milho (YANG et al., 2015b), além da detecção de doenças em plantas (MAHLEIN, 2015). As fotos das laranjeiras com frutos verdes, obviamente, apresentam essa cor como predominante, o que fez com que o parâmetro cor (ou matiz) fosse descartado das tentativas de destacamento das caracterı́sticas dos frutos. Assim, os canais H (Hue) e S (Saturation) não foram utilizados na extração de suas caracterı́sticas. Já o canal V (Value) traz informações importantes quanto ao brilho dos frutos, fundamentais 37 para a criação do baixo-relevo simulado, tornando-o o canal selecionado para o inı́cio dos procedimentos de extração de suas caracterı́sticas (Figura 9). A equalização do histograma de nı́veis de cinza é também muito utilizada no processamento de imagens aplicado à agricultura. Suas propriedades de aumento de contraste são utilizadas na detecção de doenças em folhas de algodão (WARNE; GANORKAR, 2015), por exemplo. Além do mais, a equalização do histograma de nı́veis de cinza desempenha um papel importante na padronização das condições de iluminação de imagens tomadas em diferentes condições, como no caso deste trabalho. A contagem de copas de plantas com o auxı́lio de um sistema de câmera móvel a céu aberto é um exemplo da aplicação desta técnica de correção de iluminação (NGUYEN et al., 2015). Sua utilização na melhoria de imagens para segmentação é muito ampla (RANA; CHOPRA, 2015; XU et al., 2015), e já foi relatada em tentativas de segmentação de frutos verdes de laranja (KURTULMUS; LEE; VARDAR, 2011). Com as mesmas finalidades desses casos, o resultado de sua aplicação na camada de brilho de uma imagem de uma laranjeira pode ser observado na Figura 10. Alguns algoritmos de filtragem espacial têm como consequência de sua aplicação o aumento do ruı́do da imagem (GONZALEZ; WOODS, 2000). Por ruı́do entende-se (a) Imagem original (b) Camada V do modelo HSV Figura 9. Imagem original e camada V após a conversão para o modelo de cores HSV 38 (a) Camada V do modelo HSV (b) Equalização do histograma de nı́veis de cinza Figura 10. Camada de brilho da imagem no modelo de cores HSV antes e após a equalização do histograma de nı́veis de cinza a presença de pequenos pixels ou conjuntos de pixels alheios à caracterı́stica que a imagem representa em determinada região de interesse. Assim, faz-se necessária aplicação de métodos com a finalidade de se eliminar ou ao menos reduzir esse efeito negativo. Uma das principais técnicas utilizadas para esse fim é a filtragem gaussi- ana, também conhecida como suavização gaussiana. Sua aplicação abranda as altas frequências da imagem, diminuindo a quantidade de detalhes e gerando um efeito com aspecto de “borramento”. A suavização gaussiana é largamente utilizada no processamento de imagens, incluindo-se nos casos aplicados à agricultura. Sua aplicação prévia à utilização do filtro de Laplace é uma das mais comuns e é utilizada na inspeção de qualidade e avaliação de produtos agrı́colas e alimentı́cios através de visão computacional, identificando defeitos e ocorrência de lesões por ataque de pragas ou doenças, por exemplo (NA- RENDRA; HAREESHA, 2011; DUBEY; JALAL, 2014; KALMEGH; DHOPTE, 2015a). O filtro gaussiano também faz parte do conjunto de técnicas utilizado para a determinação do grau de maturação de bananas por meio de imagens (MUSTAFA et al., 2008). Imagens hiperespectrais também são tratadas utilizando os filtros passa-baixas gaussi- 39 anos, para a classificação e mapeamento de métodos de cultivo agrı́cola com o uso de imagens de satélite (RAN et al., 2015). A detecção e segmentação de frutos de manga também faz uso da suavização gaussiana no pré-processamento das imagens (KADIR et al., 2015). Levando em consideração a aplicação da técnica nesses casos, a sua utilização neste trabalho é equivalentemente preliminar, tendo como finalidade somente a eliminação de ruı́dos excessivos que irão prejudicar a análise de textura, com o cuidado de não serem removidas as altas frequências que serão responsáveis pela diferenciação das folhas (Figura 11). A próxima etapa de preparação das imagens para a extração das caracterı́sticas é a análise de textura. Para essa finalidade foram utilizados os filtros de Laplace e Sobel. A análise de textura consiste basicamente na convolução da imagem por uma máscara espacial que irá destacar as caracterı́sticas desejadas considerando-se a vizinhança dos pixels. Dessa maneira, um pixel ou conjunto de pixels que têm vizinhos com nı́veis de cinza similares aos seus, representam uma região de textura mais suave (baixa frequência) e pixels com vizinhos que apresentam valores de nı́veis de cinza muito distintos dos seus representam uma região com texturas mais abruptas (altas (a) Camada V do modelo HSV (b) Suavização gaussiana Figura 11. Camada de brilho da imagem no modelo de cores HSV com equalização do histograma de nı́veis de cinza antes e após a aplicação da suavização gaussiana 40 frequências) (GONZALEZ; WOODS, 2000). Como pode ser observado na Figura 8, os frutos apresentam uma textura mais branda e regular do que as folhas, o que permitiu a sua segmentação através da análise de textura. O filtro direcional passa-altas de Sobel foi utilizado na direção horizontal para a extração da caracterı́stica de brilho inerente aos frutos (que apresentam formato aproximadamente esférico), caracterizados por um alto brilho na parte visı́vel da semi- esfera superior e um baixo brilho na parte visı́vel da semi-esfera inferior, já que a fonte de iluminação em condições de campo (luz solar) é sempre de origem superior à planta. O filtro de Sobel é um filtro de detecção de fronteiras e gradiente de intensi- dade, presente no processamento de imagens digitais para solução de problemas agronômicos. É utilizado na avaliação da qualidade de maçãs por visão computacional (SADEGAONKAR; WAGH, 2015), na determinação de deficiência de nitrogênio em soja (KALMEGH; DHOPTE, 2015b) e na tentativa de extração de lesões complexas em folhas de milho (KELLY et al., 2015). Também é utilizado na determinação do tamanho e do grau de maturação de bananas (MUSTAFA et al., 2008), na detecção de fronteiras para inspeção e avaliação de produtos agrı́colas (NARENDRA; HAREESHA, 2011) e na segmentação de solo, plantas daninhas e cultura em imagens de plantações (BURGOS-ARTIZZU et al., 2010; DEEPA; HEMALATHA, 2015). Para a extração das caraterı́sticas dos frutos das laranjeiras, considerando sua utilização nesses trabalhos, o filtro de Sobel é aplicado duas vezes na imagem e uma combinação das aplicações irá fazer parte da geração da imagem final de baixo-relevo simulado. É possı́vel se avaliar o efeito das aplicações desse filtro nas Figura 12 e Figura 13. Na Figura 13 começa a ficar mais evidente o efeito desejado. As partes inferiores dos frutos estão agora apresentando grandes quantidades de pixels com valores baixos (cores mais próximas ao preto) e as partes superiores apresentam grande quantidade de pixels com valores altos (cores mais próximas ao branco). No entanto, algumas regiões da imagem que não representam frutos ainda podem ser confundidas, o que faz necessária a aplicação de mais algum procedimento para melhorar a diferenciação. 41 (a) Imagem original (b) Aplicação do filtro de Sobel Figura 12. Resultado da primeira aplicação do filtro direcional passa-altas de Sobel na horizontal em imagem de uma laranjeira (a) Imagem original (b) Aplicação do filtro de Sobel Figura 13. Resultado da segunda aplicação do filtro direcional passa-altas de Sobel na horizontal em imagem de uma laranjeira Um outro método de filtragem espacial, conhecido como laplaciano da gaussiana, é um bom detector de bordas e, por se tratar de um filtro passa-altas, não prejudica a extração das caracterı́sticas dos frutos. O efeito esperado dessa filtragem espacial é que as folhas, por possuı́rem formato irregular, tamanhos muito distintos e transições de intensidade de brilho mais abruptas, sejam salientadas (representadas por nı́veis de cinza mais altos, ou seja, cores mais próximas do branco) enquanto que os frutos 42 permaneçam com sua representação inalterada. A aplicação da suavização gaussiana previamente à filtragem espacial com a máscara de Laplace é imprescindı́vel pois, por se tratar de um operador de derivada de segunda ordem, ele tende a ser muito sensı́vel e aumentar consideravelmente o nı́vel de ruı́do na imagem (GONZALEZ; WOODS, 2000). O laplaciano da gaussiana desempenha um papel especial na detecção de fronteiras sendo a base de técnicas avançadas de detecção de caracterı́sticas-chave para reconhecimento de objetos em imagens, como a SIFT (Scale-invariant feature transform) e as SURF (Speed-up robust features), capazes de efetuar tal tarefa in- dependendo da orientação, tamanho do objeto ou distância câmera-objeto em que a imagem foi tomada. Tais técnicas são utilizadas na agricultura para o reconhecimento de espécies de plantas, por exemplo (KAZEROUNI; SCHLEMPERZ; KUHNERT, 2015). É também apontado como o melhor método para a classificação de áreas com base em textura com o uso de imagens de satélite (LEWINSKI; ALEKSANDROWICZ; BANASZ- KIEWICZ, 2015) e no reconhecimento de doenças em plantas com base no padrão das folhas (VISHNU; RAM, 2015). O efeito do laplaciano da gaussiana com a finalidade de detecção de bordas tal qual nos trabalhos citados pode ser observado na imagem de uma laranjeira na Figura 14. Agora, atentando para as Figura 12, 13 e 14, nota-se que o plano de fundo e o solo não receberam nenhum tratamento especı́fico para a sua separação da copa da planta e dos frutos. Para essa finalidade foi utilizada a limiarização, uma técnica básica do processamento de imagens digitais. A remoção das caracterı́sticas inerentes ao solo ocorre através desta técnica aplicada à camada H (Hue) do modelo de cores HSV. A escala numérica de 0 a 255 representa diferentes matizes, possibilitando a identificação do solo pela sua cor, que se aproxima de tons marrom-avermelhados. As caracterı́sticas do céu foram removidas com base nos valores excessivos de brilho que este apresenta nas imagens. A remoção do plano de fundo em imagens de objetos usualmente trabalha com 43 (a) Imagem original (b) Laplaciano da gaussiana Figura 14. Resultado da aplicação do filtro passa-altas laplaciano da gaussiana para a evidenciação de folhas e outros elementos alheios aos frutos em imagem de uma laranjeira as técnicas de limiarização. É relatada sua utilização na segmentação de árvores em imagens de satélite (OZCAN et al., 2015), na detecção de doenças em folhas de algodão (WARNE; GANORKAR, 2015), na identificação e contagem de insetos- praga em culturas (MARTIN et al., 2015), na identificação de nós e entrenós para a estimativa de biomassa de milho (POTHULA; IGATHINATHANE; KRONBERG, 2015) e na avaliação da qualidade de grãos de arroz (BIRLA; CHAUHAN, 2015). É também importante na mensuração de altura e largura de partes vegetais como folhas, no caso das folhas de pimenteiras bétele (NAYAK; DEY; SHARMA, 2015). Da mesma maneira que nesses trabalho, a limiarização desempenho papel primordial para a segmentação e remoção das caracterı́sticas do céu, do solo e de outros elementos alheios à planta nas imagens, e os resultados podem ser verificados nas Figura 15 e 16. A imagem de baixo-relevo simulado é agora construı́da como uma combinação dessas técnicas descritas. Como pode ser verificado na Figura 17, os frutos são destacados como em uma escultura de baixo-relevo, ou seja, com as partes superiores apresentando um alto valor de brilho (nı́veis de cinza mais altos) e com as partes inferiores mais escuras, já que a fonte de iluminação (luz solar) é sempre de origem 44 (a) Imagem original (b) Limiarização (céu) Figura 15. Limiarização da imagem de uma laranjeira para a remoção das carac- terı́sticas inerentes ao céu captadas pela imagem digital (a) Imagem original (b) Limiarização (solo e outros elementos) Figura 16. Limiarização da imagem de uma laranjeira para a remoção das carac- terı́sticas inerentes ao solo e outros elementos alheios à planta captados pela imagem digital superior à planta. Essa imagem gerada automaticamente possibilita a aplicação de técnicas de reconhecimento e interpretação para a contagem do número de frutos visı́veis na planta, caracterizando a primeira etapa para um sistema de estimativa de produção automatizado. Os resultados da aplicação da técnica em outras imagens podem ser verificados no Apêndice A. 45 (a) Imagem original (b) Baixo-relevo simulado Figura 17. Imagem de baixo-relevo simulado de uma laranjeira, evidenciando os frutos verdes com base em análise de textura e brilho. Nesta imagem ficam destacados os frutos pelo efeito de baixo valor de brilho (cor preta) em suas partes inferiores 4.3 Comparação do método de contagem automática com o método de conta- gem manual nas imagens A Figura 18 ilustra o desempenho geral do método em comparação com as contagens manuais. Para a obtenção dessa relação foram utilizadas 1182 imagens de 591 plantas. Foram removidas 200 imagens de 100 plantas do conjunto inicial por estarem em más condições para as contagens automáticas e em alguns casos até para as contagens manuais. Cada ponto nos gráficos desta seção expressa a soma das contagens automáticas das duas fotos tiradas de uma mesma planta no eixo x e a soma das contagens manuais das duas fotos no eixo y. Dentre os fatores que poderiam influenciar no desempenho do algoritmo foi dada importância principalmente à idade e à variedade das plantas. Um efeito da idade era esperado devido ao tamanho da planta, que poderia influenciar na nitidez dos frutos no interior da copa, na quantidade de frutos oclusos pelas folhas e também quanto ao tamanho dos frutos nas imagens, mesmo com uma distância padronizada para a tomada das imagens. Já quanto à variedade era esperado um efeito da quantidade de 46 ● ● ● ● ● ● ● ● ● ●● ● ●● ● ●● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ●● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ●● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ●● ● ● ● ● ● ● ● ● ●● ● ● ● ● ● ● ● ●● ● ● ● ● ● ● ●● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ●● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ●● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ●● ● ● ● ● ● ● ● ● ●● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ●● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ●● ● ● ● ● ● ●● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ●● ● ● ● ●● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ●● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ●● ● ● ● ● ● ● ● ● ● ● ● ● ●● ● ● ● ● ●● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ●● ● ● ● ● ● ●● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ●● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● y = 32,82 + 1,4104x F = 545,52** R2 = 0,48 0 100 200 300 0 50 100 150 200 Automático M an ua l Figura 18. Regressão linear entre o número de frutos contados pelo método automático e o número de frutos contados manualmente nas imagens de 591 plantas (1182 imagens) tomadas na safra de 2011 frutos menos nı́tidos no interior da planta. Os efeitos dos grupos de idade podem ser observados na Figura 19 e das variedades na Figura 20. Assim, ainda com relação à Figura 19, fica possı́vel se observar uma diferença no resultado das contagens automáticas para o grupo de idade 1 (de 3 a 5 anos). Basicamente, o intercepto desse modelo linear foi menor do que para as outras idades, tal ocorrido podendo ser explicado pela quantidade de frutos não contados automa- ticamente mas que foram reconhecidos pelos avaliadores nas imagens. Tais frutos seriam os parcialmente oclusos, que não são tão evidentes para uma classificação confiável automática mas são passı́veis de reconhecimento pela capacidade humana de classificação. Já com relação às variedades, não foi possı́vel se notar efeito importante para a diferenciação dos modelos. Isso indica que, caso haja algum efeito dessas variedades na quantidade de frutos visı́veis na planta, tal efeito não foi suficiente para que o método automático apresentasse diferenças regulares nas contagens quando comparadas às feitas manualmente. Os resultados do algoritmo também foram agrupados de acordo com os setores 47 ● ● ● ● ● ● ● ● ● ●● ● ●● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ●● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ●● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ●● ● ● ● ● ● ● ● ● ●● ● ● ● ● ● ● ● ●● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ●● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ●● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ●● ● ● ● ● ● ● ● ● ●● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ●● ● ● ● ● ● ●● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ●● ● ● ● ●● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ●● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ●● ● ● ● ● ● ● ● ● ● ● ● ● ●● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ●● ● ● ● ● ● ●● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ●● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● 0 100 200 300 0 50 100