Classificador open-world para o reconhecimento de ameaças em imagens aéreas de culturas agrícolas

Abstract

A Agricultura de Precisão aliada ao Sensoriamento Remoto tem provocado avanços sem precedentes nas mais diversas atividades do campo. Com este progresso, o uso de Veículos Aéreos Não Tripulados (VANTs) tem permitido a obtenção de imagens de alta qualidade a um custo cada vez mais baixo. Isto tem naturalmente incentivado uma explosão de aplicações a partir do uso desses equipamentos, como, por exemplo, as que envolvem o combate às ameaças em culturas (doenças, pragas e ervas daninhas), que afetam a produtividade e implicam em gastos, muitas vezes descontrolados. Este trabalho leva em conta o Aprendizado de Máquina (AM) como um componente essencial para o sucesso e automação do monitoramento de ameaças no campo. Mais especificamente, considera-se neste trabalho modelos de AM para o reconhecimento de padrões em imagens coletados por VANTs, de maneira a detectar automaticamente pragas/doenças em uma cultura agrícola, minimizando, assim, o esforço humano nesta tarefa. Em especial, busca-se um classificador que seja escalável, no sentido de ser apto a assimilar incrementalmente novos padrões de ameaças, a fim de manter o bom desempenho do modelo mesmo diante do comportamento dinâmico dos dados quando em produção. Assim, esta pesquisa propõe um framework que viabiliza a obtenção de classificadores flexíveis o suficiente para incorporar novas classes, antes inexistentes no treinamento do modelo, à medida que aparecem em novos dados a serem classificados. Inspirado em Active Learning, a alternativa proposta gera classificadores de Cenário Aberto (também conhecido como Open-World), tornando possível a expansão da sua base de conhecimento com o mínimo de intervenção humana. A estrutura é experimentada sobre um conjunto de dados de uma cultura de eucaliptos com focos da doença Ceratocystis wilt, a qual deve ser incrementalmente aprendida pelo modelo. Como estratégias para detecção de nova classe, foram estudados critérios baseados em entropia e silhueta, com a proposição de uma versão modificada da silhueta atuando em conjunto com o classificador incremental iCaRL para compor, assim, o modelo Open-World testado. Os resultados alcançados superaram os atingidos com o modelo NNO da literatura, com destaque para o uso de menor quantidade de dados rotulados no processo. Entre os critérios testados, a silhueta proposta se mostrou mais robusta ao desbalanceamento de classes e, por fim, os experimentos evidenciaram que o framework proposto é uma alternativa válida para a obtenção de modelos Open-World.

Precision Agriculture allied to Remote Sensing has caused advances without precedents in the most diverse field activities. With this progress, the use of Unmanned Aerial Vehicles (UAVs) has allowed obtaining high quality images at an increasingly low cost. This has naturally encouraged an explosion of applications from the use of this equipment, such as, for example, those involving the fight against threats to cultures (diseases, pests and weeds), that affect productivity and imply expenses, which are often uncontrolled. This work considers Machine Learning (ML) as an essential component for the success and automation of threat monitoring in the field. More specifically, it is considered in this work ML models for the recognition of patterns in images collected by UAVs, in order to automatically detect pests/diseases in an agricultural crop, minimizing human effort in this task. In particular, a scalable classifier is sought, in the sense of being able to incrementally assimilate new threat patterns, in order to maintain the good performance of the model even before the dynamic behavior of data when in production. Thus, this research proposes a framework that makes it possible to obtain classifiers that are flexible enough to incorporate new classes, which did not exist before in model training, as they appear in new data to be classified. Inspired by Active Learning, the proposed alternative generates Open World classifiers, making it possible to expand its knowledge base with minimal human intervention. The structure is tried on a set of data from a eucalyptus crop with Ceratocystis wilt disease foci, which must be incrementally learned by the model. As strategies for new class detection, criteria based on entropy and silhouette were studied, with the proposition of a modified version of the silhouette working together with the iCaRL incremental classifier to compose, thus, the tested Open-World model. The results achieved surpassed those achieved with the NNO model in the literature, mainly the use of lesser amount of labeled data in the process. Among the tested criteria, the proposed silhouette proved to be more robust to class imbalance and, finally, the experiments showed that the proposed framework is a valid alternative for obtaining Open-World models.