Detecção de abuso em dns: verificação de concept drift e automação de retreino utilizando Apache Airflow

Abstract

O sistema de DNS é uma estrutura crucial na internet mundial, e são organizados de forma hierárquica a partir de sistemas distribuidos. No Brasil, que conta com mais de 5 milhões de domínios registrados, abusos como DNS Hijacking, Cache Poisoning e amplificação de DNS podem ocorrer diariamente. Para combater tais ações, práticas de coleta de dados passivos são utilizadas, que, por sua vez, são processadas por meio de machine learning para detectar e parar abusos automaticamente. Contudo, o modelo de aprendizado de máquina utilizado atualmente não é incremental e com o passar do tempo gera concept drift. Então, para identificar o concept drift, são utilizados métodos estatísticos ou baseados em janelas. Quando detectados, o controle de fluxo por meio de Apache Airflow, um gerenciador de workflow, aciona o retreinamento de máquina por meio de DAGs (grafo acíclico orientado). Portanto, criando assim um fluxo automatizado de execução tornando o modelo incremental.

The DNS system is a crucial structure on the worldwide internet, organized hierarchically through distributed systems. In Brazil, which has over 5 million registered domains, abuses such as DNS hijacking, cache poisoning, and DNS amplification can occur daily. To combat such actions, passive data collection practices are employed, which are then processed through machine learning to automatically detect and stop abuses. However, the current machine learning model is not incremental and over time generates concept drift. Therefore, to identify concept drift, statistical or window-based methods are used. When detected, flow control through Apache Airflow, a workflow manager, triggers machine retraining through DAGs(directed acyclic graph). Thus, creating an automated execution flow, making the model incremental.