Uso de tecnologias de big data para processamento e análise de dados da área da saúde do estado de São Paulo

Abstract

Atualmente, indicadores vêm se tornando cada vez mais utilizados como forma de avaliação de um determinado serviço ou processo, e através deles é possível realizar análises até então desconhecidas, possibilitando a melhoria na gestão dos mesmos. Na área da saúde, o uso de tais indicadores se faz necessário para o auxílio na tomada de decisão de acordo com algum cenário que demande atuação do setor público ou privado. Diante disso, este trabalho visa o desenvolvimento de um processo (pipeline) responsável por extrair e analisar os dados do Cadastro Nacional de Estabelecimentos de Saúde (CNES) para o estado de São Paulo. O processo aqui desenvolvido conta com a utilização de ferramentas de Big Data para o processamento dos dados, como Spark para realização de tratamento e agregações dos dados, a aplicação online Jupyter Notebook que permite a criação e edição de scripts em diferentes linguagens, além do banco relacional PostgreSQL, local final de armazenamento dos dados tratados. Para a interface com o usuário final foi criado um dashboard interativo com a ferramenta Power BI, com gráficos e indicadores numéricos da distribuição de serviços e profissionais em todo o estado de São Paulo. Após todas as etapas desenvolvidas foi gerado um processo responsável por atualizar mensalmente uma base de dados utilizada como fonte para um relatório do Power BI. Neste relatório é possível verificar o cenário atual do sistema de saúde e serviços em todo o estado de São Paulo, bem como identificar quais regiões necessitam de alguma atuação por parte do poder público, como por exemplo, incentivar a contratação de médicos ou agentes comunitários de saúde.

Nowadays, indicators are becoming more and more used as a way of evaluating a given service or process, and through them it is possible to perform analyzes hitherto unknown, enabling improvement in their management. In the health area, the use of such indicators is necessary to aid in decision-making according to a scenario that requires action by the public or private sector. Therefore, this work aims to develop a process (pipeline) responsible for extracting and analyzing data from the National Register of Health Establishments (CNES) for the state of São Paulo. The process developed here relies on the use of Big Data tools for data processing, such as Spark for data processing and aggregation, the Jupyter Notebook online application that allows the creation and editing of scripts in different languages, in addition to the database relational PostgreSQL, final storage location for processed data. For the end user interface, an interactive dashboard was created using the Power BI tool, with graphs and numerical indicators of the distribution of services and professionals throughout the state of São Paulo. After all the developed steps, a process responsible for monthly updating a database used as a source for a Power BI report was generated. In this report, it is possible to verify the current scenario of the health system and services throughout the state of São Paulo, as well as identify which regions need some action by the public authorities, such as, for example, encouraging the hiring of doctors or community health agents.