Dal Poz, Aluir Porfírio [UNESP]Freitas, Allana Pracuccio [UNESP]2025-02-282025-02-282024-02-29FREITAS, Allana Pracuccio. Segmentação de plantas daninhas por meio de redes neurais convolucionais em imagens de alta resolução capturadas por ARP. Orientador: Aluir Porfírio Dal Poz. 2024. 91 f. Dissertação (Mestrado em Ciências Cartográficas) - Faculdade de Ciências e Tecnologia, Universidade Estadual Paulista, Presidente Prudente, 2024.https://hdl.handle.net/11449/261567A presença de plantas daninhas ocasiona diversos prejuízos nas culturas agrícolas, podendo provocar a diminuição na produtividade, redução da qualidade final do produto colhido, disseminação de pragas e doenças e até mesmo a perda total das lavouras. Uma vez que se possa controlar essas plantas daninhas, é possível elevar tanto a qualidade quanto a quantidade da produção, além de reduzir os impactos ambientais por meio da diminuição no uso de defensivos agrícolas. Desta forma, técnicas que permitem o reconhecimento automático das plantas daninhas são extremamente relevantes para a agricultura. A metodologia proposta nesta dissertação de Mestrado utilizou a arquitetura U-Net modificada, empregando os backbones ResNet-34, EfficientNet-B0 e Inception-V3 de Convolutional Neural Networks (CNNs), a fim de realizar a segmentação de mamonas, planta daninha com maior ocorrência na cultura de cana-de-açúcar recém-plantada da área de estudo. Foi utilizada a Aeronave Remotamente Pilotada (ARP) do modelo eBee X para embarcar a câmera Sequoia e capturar imagens multiespectrais e RGB. Por meio dessas imagens foram gerados ortofotomosaicos multiespectrais e RGB, que serviram para a criação da base de dados composta pelo ortofotomosaico NDVI, ortofotomosaico RGB e suas respectivas máscaras binárias geradas por meio da vetorização das mamonas. Foram implementadas técnicas de data augmentation para aumentar o conjunto de dados e transfer learning para os backbones utilizarem pesos pré-treinados com o conjunto de dados do ImageNet. Foram avaliados os dados de entrada contidos na base de dados e identificado um problema de desbalanceamento de classes que prejudicou a segmentação das mamonas. Em vista dessa problemática, foram removidos os dados que não continham a presença de plantas daninhas para equilibrar a classe background e mamona. Os resultados indicam que o modelo mais eficiente para os dados NDVI foi alcançado ao empregar a arquitetura simples da U-Net, sem modificação e sem aplicar o transfer learning. Esse modelo alcançou valores para as métricas Dice (79,75%), F1 (79,73%), IoU (66,66%) e Acurácia (98,17%). Para os dados RGB o modelo que utilizou a arquitetura ResNet-34 obteve o melhor resultado nas métricas com valores de Dice (83,56%), F1 (83,61%), IoU (72,09%) e Acurácia (97,66%). Os resultados mostraram um bom percentual de predição para a segmentação de mamonas em vista do conjunto de dados ser pequeno e pouco diversificado. Além disso, qualitativamente, o modelo realizou a segmentação das mamonas de maneira precisa e eficaz.The presence of weeds causes various damages to agricultural crops, potentially leading to decreased productivity, reduced final product quality, the spread of pests and diseases, and even the total loss of crops. By controlling these weeds, it is possible to enhance both the quality and quantity of production while reducing environmental impacts through decreased use of agricultural pesticides. Therefore, techniques that enable automatic weed recognition are extremely relevant to agriculture. The methodology proposed in this master’s dissertation utilized the modified U-Net architecture, employing ResNet-34, EfficientNet-B0, and Inception-V3 backbones of Convolutional Neural Networks (CNNs) to segment castor bean plants, the most common weed in newly planted sugarcane fields in the study area. The remotely piloted aircraft system (RPA) model eBee X was used to carry the Sequoia camera and capture multispectral and RGB images. These images were used to generate multispectral and RGB orthomosaics, which served as the basis for creating a dataset composed of NDVI orthomosaics, RGB orthomosaics, and their respective binary masks generated by vectorizing the castor bean plants. Data augmentation techniques were implemented to increase the dataset and transfer learning was used for the backbones to utilize pre-trained weights from the ImageNet dataset. The input data contained in the database were evaluated, and a class imbalance problem that hindered the segmentation of castor bean plants was identified. To address this issue, data that did not contain the presence of weeds were removed to balance the background and castor bean classes. The results indicate that the most efficient model for NDVI data was achieved by employing the simple U-Net architecture without modification and without applying transfer learning. This model achieved metric values of Dice (79.75%), F1 (79.73%), IoU (66.66%), and Accuracy (98.17%). For the RGB data, the model using the ResNet-34 architecture obtained the best results with metric values of Dice (83.56%), F1 (83.61%), IoU (72.09%), and Accuracy (97.66%). The results showed a good prediction percentage for the segmentation of castor bean plants considering the small and limited dataset. Additionally, qualitatively, the model accurately and effectively segmented the castor bean plants.porSegmentação de imagemAgricultura de precisãoMapeamento de plantas daninhasDroneCNNimage segmentationprecision agricultureweed mappingDissertação de mestradoAcesso aberto33004129043P09449936974685913