Arquitetura para a extração, transformação e armazenamento em Data Warehouse ativo

Abstract

As arquiteturas de Data Warehouse convencionais fazem uso de Extração Transformação Armazenamento - ETA e com o propósito de trazer os dados de um sistema fonte para o Data Warehouse. Normalmente os dados são integrados por ETA em intervalos longos, geralmente de um dia e em momentos que os sistemas estão com pouca demanda de consumo. As demandas de mercado por análise de dados evoluíram significativamente e atualmente existem aplicações que requisitam por análises com alto grau de atualização, e para suportar essa demanda, passou a ser utilizadas arquiteturas de Data Warehouse Ativo. Nessa arquitetura o dado é constantemente atualizado, e o processo de ETA é normalmente realizado por streaming de dados ou o envio constante de micro lotes, mas devido ao alto grau de atualização, isso demanda que sejam feitas consultas e inserções ao banco de dados de maneira exaustiva, o que pode acarretar uma sobrecarga dos sistemas envolvidos. Então, este trabalho tem o objetivo de propor uma melhoria a arquitetura de integração de dados com uma estratégia para definir quando é interessante realizar as inserções dos dados no sistema, e toma a escolha baseada na relevância dos dados alterados e no seu volume. Com isto, este trabalho contribui com a redução de atualizações por meio de recurso de inteligência artificial para inferir os valores de relevância e volume necessários para acionar o processo de ETA.

Conventional Data Warehouse architectures utilize Extract, Transform, and Load (ETL) with the purpose of transferring data from a source system to the Data Warehouse. Typically, data integration via ETL occurs in long intervals, often daily, during periods of low system demand. However, market demands for data analysis have evolved significantly, and there are now applications requiring analyses with a high degree of real-time updates. To meet this demand, Active Data Warehouse architectures have emerged. In these architectures, data is continuously updated, and the ETL process is usually performed through data streaming or the constant delivery of micro-batches. However, this high level of updates necessitates frequent queries and inserts into the database, which can lead to system overload. This work aims to propose an improvement to the data integration architecture by introducing a strategy to determine when it is optimal to insert data into the system. The decision is based on the relevance of the modified data and its volume. This contribution reduces the number of updates through the use of artificial intelligence to infer the relevance and volume thresholds required to trigger the ETL process.