Avaliação de viabilidade do uso de Deep Learning em computadores de placa única para aplicações em agricultura
Carregando...
Data
Autores
Orientador
Shimabukuro, Milton Hirokazu 
Coorientador
Tommaselli, Antonio Maria Garcia
Pós-graduação
Ciências Cartográficas - FCT
Curso de graduação
Título da Revista
ISSN da Revista
Título de Volume
Editor
Universidade Estadual Paulista (Unesp)
Tipo
Dissertação de mestrado
Direito de acesso
Acesso aberto
Resumo
Resumo (português)
Na agricultura, a aplicação de Deep Learning por meio de computadores de placa única emerge como uma solução potencial para implementar modelos complexos de inteligência artificial em ambientes de campo e com processamento local. Esses modelos são usualmente desenvolvidos para execução em computadores, servidores e máquinas de alta potência, e podem requerer ajustes para aplicações em campo ou em tempo real. A presente dissertação objetivou avaliar a implementação e a execução de técnicas de Deep Learning utilizando processamento em computadores de placa única (Single Board Computer, SBC) com GPU (Graphics Processing Unit). Os experimentos foram realizados utilizando um conjunto de dados coletado no projeto temático (FAPESP) “Sensoriamento Remoto de Alta Resolução para Agricultura Digital”, da FCT/Unesp – Presidente Prudente. O conjunto de dados foi obtido em um pomar de laranjas utilizando a câmera Sony A7R Multispectral Sextuple, que possui um sistema de seis lentes (Q1 a Q6), as quais capturam imagens em diferentes comprimentos de onda. Os modelos de detecção e segmentação utilizados foram os da família YOLO (You Only Look Once), especificamente os modelos YOLOv8 e YOLOv9 com suas variantes de arquitetura. Para a delimitação inicial das instâncias de interesse e posterior ajuste fino manual, foi utilizado um método de rotulação semiautomática baseado no Segment Anything Model (SAM). A investigação compreendeu três experimentos. O primeiro experimento avaliou os modelos YOLOv8 e YOLOv9, previamente treinados na base de dados Microsoft COCO, quanto às suas capacidades de segmentação de laranjas, explorando as potencialidades do Transfer Learning e do Fine Tuning. A inferência foi realizada no SBC NVIDIA Jetson Nano. O principal objetivo deste experimento foi analisar se, mesmo com o uso de um modelo pré-treinado, a rede seria capaz de realizar a detecção e segmentação dos alvos (no caso, laranjas) de maneira satisfatória. No segundo experimento, foi construído um conjunto de dados original por meio da rotulação semiautomática com o SAM. A partir desse conjunto, os modelos YOLOv8 e YOLOv9 foram treinados para a detecção e segmentação de folhas, aplicando-se Transfer Learning e Fine Tuning, conforme validados no primeiro experimento. O treinamento foi conduzido na plataforma Google Colab, enquanto a inferência ocorreu na NVIDIA Jetson Nano. No que se refere às variantes arquiteturais, os resultados mais consistentes foram obtidos com modelos de complexidade intermediária (YOLOv8-s e YOLOv8-m). Esse desempenho pode estar relacionado ao fato de que arquiteturas com um número elevado de parâmetros podem não apresentar uma configuração otimizada para o conjunto de dados analisado. No experimento final, foi realizada a segmentação de folhas em imagens das lentes Q4 e Q6, seguida da identificação de pares homólogos de folhas. A inferência foi conduzida na NVIDIA Jetson Nano, utilizando as arquiteturas previamente treinadas e exploradas no segundo experimento. Para a tomada de decisão sobre a correspondência entre os pares de folhas, considerou-se, além da posição na imagem, a intersecção entre as instâncias como parâmetros. A busca pelos pares para análise foi otimizada por meio da subdivisão da imagem em quadrantes, baseada na estrutura de dados QuadTree. Os resultados demonstraram uma relação direta entre a eficiência da detecção e segmentação e a precisão da correspondência. Em conclusão, demonstrou-se a exequibilidade de modelos de Deep Learning na NVIDIA Jetson Nano para aplicações agrícolas que envolvem detecção e segmentação de instâncias, e os tempos de processamento sugerem a viabilidade de aplicação em tempo real.
Resumo (inglês)
In agriculture, the application of Deep Learning through single-board computers emerges as a potential solution for implementing complex artificial intelligence models in field environments with local processing. These models are usually developed for execution on computers, servers, and high-performance machines, and may require adjustments for field or real-time applications. This dissertation aimed to evaluate the implementation and execution of Deep Learning techniques using processing on single-board computers (SBC) with GPUs (Graphics Processing Units). The experiments were conducted using a dataset collected as part of the thematic project (FAPESP) “High-Resolution Remote Sensing for Digital Agriculture,” from FCT/Unesp - Presidente Prudente. The dataset was obtained in an orange orchard using the Sony A7R Multispectral Sextuple camera, which features a system of six lenses, Q1 to Q6, capturing in different wavelengths. The detection and segmentation models used were from the YOLO (You Only Look Once) family, specifically the YOLOv8 and YOLOv9 models with their architectural variants. For the initial delimitation of the instances of interest, followed by manual fine-tuning, a semi-automatic labeling method based on the Segment Anything Model (SAM) was used. The investigation comprised three experiments. The first experiment evaluated the YOLOv8 and YOLOv9 models, previously trained on the Microsoft COCO dataset by Lin et al. (2014), in terms of their ability to segment oranges, exploring the potential of Transfer Learning and Fine Tuning. Inference was performed on the NVIDIA Jetson Nano SBC. The main objective of this experiment was to analyze whether, even with the use of a pre-trained model, the network would be capable of detecting and segmenting the targets (in this case, oranges) satisfactorily. In the second experiment, an original dataset was built using semi-automatic labeling with SAM. Based on this dataset, YOLOv8 and YOLOv9 models were trained for leaf detection and segmentation, applying Transfer Learning and Fine Tuning, as validated in the first experiment. Training was conducted on the Google Colab platform, while inference was performed on the NVIDIA Jetson Nano. Regarding architectural variants, the most consistent results were obtained with models of intermediate complexity (YOLOv8-s and YOLOv8-m). This performance may be related to the fact that architectures with a high number of parameters may not provide an optimized configuration for the analyzed dataset. In the final experiment, leaf segmentation was performed on images from lenses Q4 and Q6, followed by the identification of homologous leaf pairs. Inference was carried out on the NVIDIA Jetson Nano, using the architectures previously trained and explored in the second experiment. For the decision-making process regarding the matching between leaf pairs, both the position in the image and the intersection between instances were considered as parameters. The search for the pairs to be analyzed was optimized through the subdivision of the image into quadrants, based on the QuadTree data structure. The results showed a direct relationship between detection/segmentation efficiency and matching accuracy. In conclusion, the feasibility of Deep Learning models on the NVIDIA Jetson Nano was demonstrated for agricultural applications involving instance detection and segmentation, and the processing times suggest the viability for real-time application.
Descrição
Palavras-chave
Deep Learning, Agricultura Digital, Visão Computacional, YOLO, NVIDIA Jetson Nano, Digital Agriculture, Computer Vision
Idioma
Português
Citação
FARIA JÚNIOR, Clodoaldo Souza. Avaliação de Viabilidade do Uso de Deep Learning em Computadores de Placa Única para Aplicações em Agricultura. Orientador: Milton Hirokazu Shimabukuro. 2026. 92 f. Dissertação (Mestrado em Ciências Cartográficas) - Faculdade de Ciências e Tecnologia, Universidade Estadual Paulista, Presidente Prudente, 2025.
