Algoritmo eficiente de mineração de dados multi-relacional, baseado em regras de associação, com uso de múltiplos suportes mínimos e recursos de paralelização
Carregando...
Data
2022-01-31
Autores
Colla, William Wallace
Título da Revista
ISSN da Revista
Título de Volume
Editor
Universidade Estadual Paulista (Unesp)
Resumo
With the advancement of social media technologies, internet of things and the
consequent generation of large volumes of data, it is necessary to develop algorithms,
techniques and tools in order to extract useful knowledge from these data. The process
that systematizes and brings together the entire collection of resources to perform this
task is called the Knowledge Extraction Process in Databases, or Knowledge Discovery in
Databases – KDD. One of the stages of KDD is data mining, in which there are a series of
algorithmic propositions that perform the task of finding patterns and behaviors, that is,
the knowledge sought. between data in a large database. However, this technique has a
problem known as the “rare item problem”, which is solved with the use of multiple
minimal supports. Another problem encountered is regarding the application of the
algorithm that takes place in a single table and on which it is necessary to apply a previous
preparation in these data, being necessary to apply pre-processing. However, this
procedure sometimes causes duplication and/or loss of data, so multi-relational mining
algorithms have been proposed to circumvent such circumstances. Thus, the objective of
this work is to propose a multi-relational mining algorithm, based on association rules,
added with multiple minimal supports and with superior performance and lower memory
consumption than the corresponding algorithm in the literature.
Com o avanço das tecnologias das mídias sociais, internet das coisas e a consequente geração de grandes volumes de dados, faz-se necessário o desenvolvimento de algoritmos, técnicas e ferramentas com o propósito de extrair conhecimento útil destes dados. O processo que sistematiza e reúne toda a coleção de recursos para efetuar esta tarefa é denominado de Processo de Extração de Conhecimento em Banco de Dados, ou do inglês, Knowledge Discovery in Databases – KDD. Uma das etapas do KDD é a mineração de dados, em que se tem uma série de proposições de algoritmos que executam a tarefa de encontrar padrões e comportamentos, ou seja, o conhecimento buscado Em especial a mineração de regras de associação, que visa determinar associações entre dados em uma grande base de dados. Porém tal técnica possui um problema conhecido como “problema do item raro”, sendo solucionado com o uso de múltiplos suportes mínimos. Outro problema encontrado, é quanto a aplicação do algoritmo que se dá em uma única tabela e sobre a qual faz-se necessária a aplicação de preparação prévia nestes dados, sendo necessário aplicar pré-processamento. No entanto, tal procedimento provoca, em algumas ocasiões, a duplicação e ou a perda de dados, com isso, os algoritmos de mineração multi-relacionais foram propostos para contornar tais circunstâncias. Deste modo, o objetivo deste trabalho é a proposição de um algoritmo de mineração multi-relacional, baseado em regras de associação, adicionado de múltiplos suportes mínimos e com desempenho superior e menor consumo de memória do que o correspondente algoritmo da literatura.
Com o avanço das tecnologias das mídias sociais, internet das coisas e a consequente geração de grandes volumes de dados, faz-se necessário o desenvolvimento de algoritmos, técnicas e ferramentas com o propósito de extrair conhecimento útil destes dados. O processo que sistematiza e reúne toda a coleção de recursos para efetuar esta tarefa é denominado de Processo de Extração de Conhecimento em Banco de Dados, ou do inglês, Knowledge Discovery in Databases – KDD. Uma das etapas do KDD é a mineração de dados, em que se tem uma série de proposições de algoritmos que executam a tarefa de encontrar padrões e comportamentos, ou seja, o conhecimento buscado Em especial a mineração de regras de associação, que visa determinar associações entre dados em uma grande base de dados. Porém tal técnica possui um problema conhecido como “problema do item raro”, sendo solucionado com o uso de múltiplos suportes mínimos. Outro problema encontrado, é quanto a aplicação do algoritmo que se dá em uma única tabela e sobre a qual faz-se necessária a aplicação de preparação prévia nestes dados, sendo necessário aplicar pré-processamento. No entanto, tal procedimento provoca, em algumas ocasiões, a duplicação e ou a perda de dados, com isso, os algoritmos de mineração multi-relacionais foram propostos para contornar tais circunstâncias. Deste modo, o objetivo deste trabalho é a proposição de um algoritmo de mineração multi-relacional, baseado em regras de associação, adicionado de múltiplos suportes mínimos e com desempenho superior e menor consumo de memória do que o correspondente algoritmo da literatura.
Descrição
Palavras-chave
Data mining, Association rules, Multi-relational mining, Multiple minimal supports, Parallel, Mineração de dados, Regras de associação, Mineração multi-relacional, Múltiplos suportes mínimos, Paralela