Seleção e agregação de dupla camada para listas ranqueadas em recuperação de imagens por conteúdo

Abstract

Em decorrência de amplos avanços tecnológicos nos processos de aquisição e armazenamento de imagens, houve um massivo crescimento de coleções multimídia nas últimas décadas. Tal crescimento desencadeou uma demanda premente por ferramentas automáticas para mitigar a sobrecarga de informações. O uso de técnicas de recuperação de imagens capazes de levar em consideração o conteúdo visual tornou-se essencial neste contexto. Os sistemas de Recuperação de Imagens Baseados em Conteúdo (CBIR) consolidaram-se como uma solução relevante e representam um campo de pesquisa extremamente ativo com diversificadas aplicações Tais sistemas comumente baseiam-se na representação de imagens por meio de um processo de extração de características e na comparação das representações para a obtenção de listas ranqueadas. Contudo, há numerosas abordagens diferentes para extração de características. Apesar da revolução da área suportada por métodos baseados em aprendizado profundo, a disponibilidade de diferentes características geradas por diferentes extratores se mantém. Assim, a obtenção de resultados mais eficazes obtidos por meio da combinação de listas ranqueadas continua uma solução atrativa, uma vez que diferentes abordagens de extração de características e ranqueamento originam listas ranqueadas distintas. Contudo, a combinação de listas ranqueadas em cenários não supervisionados apresenta vários desafios. Entre eles, pode-se destacar: a dificuldade em selecionar os extratores de características e os métodos utilizados para combinação em cenários de ausência de rótulos. Com o propósito de contribuir com esse campo de pesquisa, esse trabalho apresenta uma proposta de metodologia de seleção e agregação multinível de ranqueadores baseados em diferentes extratores de características. A proposta deste trabalho aborda um cenário de agregação de ranqueadores em um contexto não supervisionado, estruturado em duas camadas. A primeira camada baseia-se em medidas de estimativa de eficácia para selecionar ranqueadores individuais, os quais são combinados em pares de forma sistemática. Na segunda camada, os pares de ranqueadores gerados na etapa anterior são selecionados e combinados, resultando em uma lista ranqueada final. Os resultados obtidos em avaliação experimental conduzida em três datasets de diferentes tamanhos demonstram que o método proposto apresenta resultados que superam metodologias já estabelecidas na área.

Due to significant technological advances in the processes of image acquisition and storage, there has been a massive growth in multimedia collections in recent decades. This growth has triggered an urgent demand for automatic tools to mitigate information overload. The use of image retrieval techniques capable of considering visual content has become essential in this context. Content-Based Image Retrieval (CBIR) systems have emerged as a relevant solution and represent an extremely active research field with diverse applications. These systems are commonly based on the representation of images through a feature extraction process and the comparison of these representations to obtain ranked lists. However, there are numerous different approaches to feature extraction. Despite the revolution in the field supported by deep learning-based methods, the availability of different features generated by various extractors remains. Thus, achieving more effective results through the combination of ranked lists continues to be an attractive solution, as different feature extraction and ranking approaches produce distinct ranked lists. Nevertheless, the combination of ranked lists in unsupervised scenarios presents several challenges. Among them, the difficulty in selecting feature extractors and methods for combination in the absence of labels stands out. In order to contribute to this research field, this work presents a proposal for a multilevel selection and aggregation methodology for rankers based on different feature extractors. The proposal addresses a scenario of ranker aggregation in an unsupervised context, structured in two layers. The first layer is based on efficacy estimation metrics to select individual rankers, which are systematically combined in pairs. In the second layer, the ranker pairs generated in the previous step are selected and combined, resulting in a final ranked list. The results obtained from experimental evaluation conducted on three datasets of different sizes demonstrate that the proposed method outperforms well-established methodologies in the field.