Publicação: Uso de tecnologias de big data para processamento e análise de dados da área da saúde do estado de São Paulo
Carregando...
Arquivos
Data
Autores
Orientador
Marques, Márcio Alexandre 
Coorientador
Pós-graduação
Curso de graduação
Engenharia de Controle e Automação - ICTS
Título da Revista
ISSN da Revista
Título de Volume
Editor
Universidade Estadual Paulista (Unesp)
Tipo
Trabalho de conclusão de curso
Direito de acesso
Acesso aberto
Resumo
Resumo (português)
Atualmente, indicadores vêm se tornando cada vez mais utilizados como forma de avaliação de um determinado serviço ou processo, e através deles é possível realizar análises até então desconhecidas, possibilitando a melhoria na gestão dos mesmos. Na área da saúde, o uso de tais indicadores se faz necessário para o auxílio na tomada de decisão de acordo com algum cenário que demande atuação do setor público ou privado. Diante disso, este trabalho visa o desenvolvimento de um processo (pipeline) responsável por extrair e analisar os dados do Cadastro Nacional de Estabelecimentos de Saúde (CNES) para o estado de São Paulo. O processo aqui desenvolvido conta com a utilização de ferramentas de Big Data para o processamento dos dados, como Spark para realização de tratamento e agregações dos dados, a aplicação online Jupyter Notebook que permite a criação e edição de scripts em diferentes linguagens, além do banco relacional PostgreSQL, local final de armazenamento dos dados tratados. Para a interface com o usuário final foi criado um dashboard interativo com a ferramenta Power BI, com gráficos e indicadores numéricos da distribuição de serviços e profissionais em todo o estado de São Paulo. Após todas as etapas desenvolvidas foi gerado um processo responsável por atualizar mensalmente uma base de dados utilizada como fonte para um relatório do Power BI. Neste relatório é possível verificar o cenário atual do sistema de saúde e serviços em todo o estado de São Paulo, bem como identificar quais regiões necessitam de alguma atuação por parte do poder público, como por exemplo, incentivar a contratação de médicos ou agentes comunitários de saúde.
Resumo (inglês)
Nowadays, indicators are becoming more and more used as a way of evaluating a given service
or process, and through them it is possible to perform analyzes hitherto unknown, enabling
improvement in their management. In the health area, the use of such indicators is necessary to
aid in decision-making according to a scenario that requires action by the public or private sector.
Therefore, this work aims to develop a process (pipeline) responsible for extracting and analyzing
data from the National Register of Health Establishments (CNES) for the state of São Paulo. The
process developed here relies on the use of Big Data tools for data processing, such as Spark for
data processing and aggregation, the Jupyter Notebook online application that allows the creation
and editing of scripts in different languages, in addition to the database relational PostgreSQL,
final storage location for processed data. For the end user interface, an interactive dashboard was
created using the Power BI tool, with graphs and numerical indicators of the distribution of
services and professionals throughout the state of São Paulo. After all the developed steps, a
process responsible for monthly updating a database used as a source for a Power BI report was
generated. In this report, it is possible to verify the current scenario of the health system and
services throughout the state of São Paulo, as well as identify which regions need some action by
the public authorities, such as, for example, encouraging the hiring of doctors or community
health agents.
Descrição
Palavras-chave
Big Data, Spark, dashboard, CNES, SQL
Idioma
Português
