Abordagem semi-supervisionada para detecção de domínios maliciosos em TLDs em sua primeira consulta

Abstract

Este trabalho propõe um método para a detecção precoce de domínios maliciosos recém-registrados em Top Level Domains (TLDs). A abordagem proposta utiliza apenas a primeira consulta DNS de um domínio recém-registrado coletada de forma passiva e enriquecida pelo sistema ENTRADA, que permite a análise e o armazenamento eficiente e em larga escala desses dados. A detecção desses domínios fica a cargo de uma abordagem semi-supervisionada, composta por um módulo de aprendizado de máquina supervisionado no qual foram utilizados dois algoritmos supervisionados, e um módulo de aprendizado não supervisionado, com a utilização de um algoritmo de clusterização. As saídas de todos os modelos usados são enviadas para um modelo classificador final, com o objetivo de combinar as previsões anteriormente fornecidas e identificar se aquele domínio é malicioso, juntamente com a probabilidade. Para a etapa de treinamento dos modelos supervisionados, os dados são balanceados para que não haja viés. O treinamento do modelo não supervisionado é feito apenas com domínios maliciosos, visando gerar clusters puramente maliciosos. Após a etapa de treinamento, os modelos são testados no ambiente real, avaliando novos domínios recém-registrados e o desempenho da abordagem proposta. Por fim, um módulo de re-treinamento está disponível, sempre que houver uma degradação no desempenho. A abordagem proposta na etapa de treinamento apresentou uma área sob a curva ROC (AUC) de 0,96 (+/- 0,01) e uma Acurácia (ACC) de 0,91. Na etapa de teste, que simula o ambiente de produção, as métricas foram ACC 0,88, taxa de de verdadeiro positivo (TVP) de 0,884, taxa de de verdadeiro negativo (TVN) 0,875, taxa de falso positivo (TFP) 0,124 e taxa de falso negativo (TFN) 0,110.

This work proposes a method for the early detection of newly registered malicious domains in Top Level Domains (TLDs). The proposed approach utilizes only the first DNS query of a newly registered domain, passively collected and enriched by the ENTRADA system, which enables the efficient and large-scale analysis and storage of these data. The detection of these domains is handled by a semi-supervised approach, consisting of a supervised machine learning module, in which two supervised algorithms were used, and an unsupervised learning module, employing a clustering algorithm. The outputs of all the models used are sent to a final classifier model, with the aim of combining the previously provided predictions and identifying whether the domain is malicious, along with the probability. For the training phase of the supervised models, the data is balanced to avoid bias. The training of the unsupervised model is done exclusively with malicious domains, aiming to generate purely malicious clusters. After the training phase, the models are tested in a real environment, evaluating newly registered domains and the performance of the proposed approach. Finally, a retraining module is available whenever there is a degradation in performance. The proposed approach in the training phase achieved an Area Under the ROC Curve (AUC) of 0.96 (+/- 0.01) and an Accuracy (ACC) of 0.91. In the testing phase, which simulates the production environment, the metrics were ACC 0.88, True Positive Rate (TPR) of 0.884, True Negative Rate (TNR) of 0.875, False Positive Rate (FPR) of 0.124, and False Negative Rate (FNR) of 0.110.