A utilização de crawler focado e técnicas de clustering como recursos complementares no processo de recuperação de informação

Abstract

Em vista da rápida expansão e dinamicidade da Web, os mecanismos de busca assumiram um papel essencial para a recuperação de informação nesse imenso repositório. Com o grande número de páginas sendo constantemente adicionados e modificadas, a eficiência dos mecanismos de busca torna-se fundamental. Um crawler é o elemento principal de um mecanismo de busca. Sua função é navegar pela estrutura hipertextual da Web de forma sistemática afim obter e indexar páginas, formando um acervo documental utilizados pelo mecanismo de busca. Os Web Crawlers de propósito geral, utilizados pelos mecanismos de busca como o Google e o Bing, funcionam exaustivamente, procurando coletar e indexar o maior número de documentos possível. Um Web crawler focado é um tipo de crawler que coleta páginas contendo informações sobre um determinado tema ou assunto, gerando um conjunto de documentos qualificado e contextualizado, permitindo aumentar a eficiência de um mecanismo de busca. Este trabalho propõe a utilização de Web crawlers focados juntamente com técnicas de clustering. Técnicas de clustering (agrupamento) têm sido usadas na recuperação de informações para muitos propósitos diferentes tais como expansão de consulta, agrupamento de documentos, indexação de documentos e visualização de resultados de busca. A partir de uma pesquisa exploratória e descritiva, fundamentada em bibliografia específica, este trabalho propõe a utilização conjunta de Web crawler focado e técnicas de clustering como recursos complementares no processo de recuperação de informação. Inicialmente o crawler focado fornece um conjunto de documentos (páginas Web) restrito a um assunto ou tema. A partir do corpus temático fornecido pelo crawler, o processo classificatório dos algoritmos de Clustering podem então gerar grupos (clusters) de documentos relacionados às especificidades ou detalhamentos do tema. A base teórica apresentada neste estudo possui o potencial de tornar-se uma proposta para a implementação um mecanismo de busca experimental, demonstrando a sua aplicabilidade e contribuindo para o campo de pesquisa.

In view of rapid expansion and dynamism of the Web, search engines have assumed an essential role in the retrieval of information in this immense repository. With the large number of pages constantly being added and modified, the efficiency of search engines becomes critical. A crawler is the core element of a search engine. Its function is to systematically navigate the hypertextual structure of the Web in order to obtain and index pages, forming a collection of documents used by the search engine. General purpose Web crawlers, used by search engines like Google and Bing, work extensively, seeking to collect and index as many documents as possible. A focused Web crawler is a type of crawler that collects pages containing information about a certain theme or subject, generating a set of qualified and contextualized documents, allowing to increase the efficiency of a search engine. This work proposes the use of focused Web crawlers together with clustering techniques. Clustering techniques have been used in information retrieval for many different purposes such as query expansion, document grouping, document indexing, and viewing search results. From an exploratory and descriptive research, based on specific bibliography, this work proposes the joint use of focused Web crawler and Clustering techniques as complementary resources in the information retrieval process. Initially Focused Crawler provides a set of documents (Webpages) restricted to a subject or theme. From the thematic corpus provided by Crawler, the classification process of the Clustering algorithms can then generate groups of documents related to the specifics or details of the theme. The theoretical basis presented in this study has the potential to become a proposal for the implementation of an experimental search engine, demonstrating its applicability and contributing to the research field.