SQLStreamify: middleware baseado em microsserviços fornecendo transações de leitura de fluxo de dados em SGBDs

Abstract

O uso de informações como postagens em redes sociais, cotações de ativos financeiros, consumo de combustível do automóvel, informações de sensores de casas inteligentes, equipamentos de UTI, entre tantas outras geradas continuamente, leva a mudanças no armazenamento e processamento de dados. Técnicas de programação reativas, nas quais algoritmos reagem a eventos para disparar ações, têm sido cada vez mais utilizadas e aprimoradas por diversas linguagens e frameworks de desenvolvimento. Essa abordagem altera a maneira como os dados devem ser consultados; deve se monitorar constantemente alterações em bases de dados para disparar eventos e executar ações. Na busca por trabalhos relacionados ao tema, é possível verificar as demandas na área, buscando validar a utilidade do trabalho proposto, com trabalhos que resolvem o problema do consumo de fluxo de dados apenas para suas aplicações. São demonstrados também trabalhos que apresentam técnicas de buscas em fluxo de dados e formas de publicação dos mesmos. Apesar da existência de vários trabalhos foi constatada a demanda por uma solução completa para integração de funções de leitura de fluxo de dados em Tempo Real em sistemas com bancos existentes e em produção. O objetivo do trabalho é projetar e implementar um middleware, com arquitetura baseada em microsserviços, capaz de disponibilizar fluxos de dados em tempo real obtidos pela conversão de consultas em consultas ativas, sem a complexidade de um SGDF (Sistema Gerenciador de Dados em Fluxos) e com a possibilidade de execução sem mudanças em bancos de dados já em uso. A escolha por uma arquitetura baseada em microsserviços possibilitou que o trabalho fosse dividido e resolvido em partes que se comunicam para entregar a solução final. O método criado por contêineres atuando como servidores de replicação para detecção de mudanças nos dados se provou eficiente nos testes comparado com as soluções existentes, uma vez que não prejudica as operações no SGBD (Sistema Gerenciador de Banco de Dados) e apresentou tempos de inserções paralelas a execução de em média 2.10 vezes mais rápido do que técnicas existentes para a solução do problema. Além do que, o uso do MQTT (Message Queue Telemetry Transport - Transporte de Telemetria de Fila de Mensagens) se adequou perfeitamente como protocolo de entrega dos fluxos de dados.

Use of information such as social media posts, financial stock quotations, car fuel consumption, smart home sensors, ICU equipment, among many others, leads to changes in data storage and processing. Reactive programming techniques, in which algorithms react to triggering actions, have been increasingly used and improved by several programming languages and development frameworks. This approach changes the way data should be consulted, changes in databases must be constantly monitored to trigger events and perform actions. In the literature, it is possible to verify demands in this area, seeking to validate the usefulness of the proposed work. Once this demand for integrating real-time data stream reading functions in systems in production using existing DBMSs (Database Management System), the objective of this work is to design and implement a middleware, with microservice-based architecture, capable of providing real-time data streams obtained by converting queries into continuous queries, without all the DSMS (Data Stream Management System) tool complexity and with the possibility of execution without changes in legacy systems databases. The choice for a microservice-based architecture enabled the work to be divided and solved in parts that communicate in order to deliver the final solution. The method created by containers that act as replication servers for detecting changes in data proved to be efficient in tests when compared to existing solutions. Moreover, employment of MQTT (Message Queue Telemetry Transport) protocol fit perfectly in the delivery of data streams.