Combinação de sucessivas funções de similaridade para otimização de ambiente para identificação de tuplas duplicadas com recursos de paralelização

Abstract

Nos últimos anos o problema de identificação de tuplas duplicadas tem se tornado cada vez mais expressivo com o crescimento do cenário Big Data. Empresas, governos, meio acadêmico e indústria geram cada vez mais informações, e tem-se como consequência a dificuldade de extrair conhecimentos valiosos dessas bases, nas quais muitas das vezes são desorganizadas e heterogêneas. Quando usuários, independente da organização, inserem dados em uma base de dados, é comum que eles contenham erros ou inconsistências, onde tais cenários impedem que a etapa de análise de dados gere resultados satisfatórios. Sendo assim, é imprescindível que estes dados sejam limpos, normalizados, e posteriormente tratados. Desta forma, pretendeu-se implementar um ambiente de identificação de tuplas duplicadas com recursos de paralelização e processamento em memória com Apache Spark. Para isso, inicialmente foi realizada uma etapa de limpeza de dados e, posteriormente, foram executados 3 algoritmos de similaridade, Damerau-Levenshtein, Jaro-Winkler e Needleman-Wunsch, com auxílio da paralelização. O intuito foi identificar tuplas duplicadas, aumentar o desempenho dessas técnicas e torná-las funcionais, uma vez que elas possuíam um alto nível de custo computacional. Ao mesmo tempo, foram testadas diversas combinações dessas funções para otimizar os cálculos de similaridade. A análise dos resultados obtidos após a execução do ambiente proposto mostrou que é possível aumentar a precisão dos resultados ao utilizar mais de uma função de similaridade. Além disso, as técnicas de paralelização e processamento em memória melhoraram o desempenho do algoritmo, e o tornam mais eficiente e rápido. A análise de qualidade dos dados também mostrou resultados positivos, sendo possível identificar uma quantidade significativa de tuplas duplicadas e as funções de similaridade utilizadas foram capazes de tratar contextos diferentes e detectar duplicações. Deste modo, propôs-se como contribuição científica a aplicação de diversas funções de similaridade a fim de otimizar os ambientes de identificação de tuplas duplicadas, com recursos de paralelização.

In recent years, the problem of identifying duplicate tuples has become increasingly expressive with the growth of the Big Data scenario. Companies, governments, the academic community, and industry generate more and more information, leading to difficulties in extracting valuable knowledge from these databases, which are often disorganized and heterogeneous. When users, regardless of the organization, insert data into a database, it is common for them to contain errors or inconsistencies, which prevent the data analysis stage from generating satisfactory results. Therefore, it is essential that these data be cleaned, normalized, and subsequently treated. With this in mind, we aimed to implement an environment for identifying duplicate tuples with parallelization and in-memory processing capabilities using Apache Spark. To this end, a data cleaning step was initially performed, and then three similarity algorithms, Damerau-Levenshtein, Jaro-Winkler, and NeedlemanWunsch, were executed with the help of parallelization. The goal was to identify duplicate tuples, increase the performance of these techniques, and make them functional, since they had a high level of computational cost. At the same time, various combinations of these functions were tested to optimize the similarity calculations. The analysis of the results obtained after the execution of the proposed environment showed that it is possible to increase the accuracy of the results by using more than one similarity function. In addition, the parallelization and in-memory processing techniques improved the performance of the algorithm, making it more efficient and faster. The data quality analysis also showed positive results, it was possible to identify a significant amount of duplicate tuples, and the similarity functions used were able to handle different contexts and detect duplicates. Thus, it was proposed as a scientific contribution the application of various similarity functions in order to optimize the environments for identifying duplicate tuples with parallelization capabilities.