Análise da concordância de softwares de inteligência artificial na detecção de cálculo dentário e lesões cariosas em radiografias bitewing: um estudo observacional retrospectivo e cego

Abstract

O objetivo deste estudo foi avaliar a concordância entre cirurgiões-dentistas clínicos gerais (CG) e softwares de inteligência artificial (IA) na detecção de lesões cariosas e cálculo dentário em radiografias interproximais, utilizando como padrão-ouro o consenso entre radiologistas dentomaxilofaciais. Foram selecionadas 542 radiografias oriundas de arquivo. As imagens foram avaliadas por três grupos: CG, composto por dois CG; IA, composto pelos softwares Diagnocat, Denti.AI e DIO; e R, formado por três especialistas em Radiologia Odontológica. A partir dessas avaliações, foram calculados os valores de concordância de cada avaliador (CG e softwares de IA) em relação ao padrão-ouro, bem como a concordância intra-grupo entre os softwares. Além disso, foram estimadas as medidas de acurácia diagnóstica, incluindo sensibilidade, especificidade, valor preditivo positivo (VPP) e valor preditivo negativo (VPN). A concordância entre os três radiologistas variou de 90% a 92%, com valores de Kappa entre 0,34 e 0,63, indicando concordância de fraca a moderada, porém estatisticamente significativa (p < 0,001). Para lesões cariosas secundárias, CG e softwares apresentaram especificidade elevada (94–97%), porém a sensibilidade foi mais baixa para os CG (43–47%) e para o DIO (40%), intermediária para o Denti.AI e superior no Diagnocat (81%). O VPN foi elevado em ambos os grupos (98–99%) e o VPP foi baixo (32–37%), indicando tendência a falsos positivos. Para lesões cariosas primárias proximais, CG e DIO mantiveram alta especificidade (97–98%) e sensibilidade reduzida (39–67%). Já os softwares Diagnocat e Denti.AI mostraram desempenho superior, com sensibilidades de 86-93% e 80-87%, respectivamente, além de alta especificidade (86-95%). O VPP foi limitado para CG e softwares (20–63%).Quanto ao cálculo dental, tanto os CG quanto Diagnocat demonstraram alta especificidade (91–97%), sendo que este apresentou a maior sensibilidade (96%). Os valores de VPN foram altos em ambos os grupos (98–100%), enquanto o VPP apresentou maior variação, sendo de 64–76% para os CG e 52% para o Diagnocat. Nossos resultados demonstram que o uso da IA pode contribuir para a otimização do processo diagnóstico e da tomada de decisão clínica, especialmente no caso de lesões cariosas que poderiam passar despercebidas, desde que utilizada com cautela e sempre associada ao julgamento clínico.

The aim of this study was to assess the agreement between general dentists (GD) and artificial intelligence (AI) software in the detection of dental caries and calculus on bitewing radiographs, with the consensus of dentomaxillofacial radiologists established as the gold standard. A total of 542 images were selected and evaluated by three groups: GD, consisting of two general dentists; AI, comprising three dental software programs (Diagnocat, Denti.AI, and DIO); and R, composed of three specialists in Oral and Maxillofacial Radiology. Based on these assessments, agreement values between each evaluator (GD and AI software) and the gold standard were calculated, along with intra-group agreement among the AI software. Diagnostic accuracy measures —including sensitivity, specificity, positive predictive value (PPV), and negative predictive value (NPV) — were also estimated. Agreement among the radiologists ranged from 90% to 92%, with Kappa values between 0.34 and 0.63, indicating weak to moderate yet statistically significant agreement (p < 0.001). For secondary caries, both GD and AI software demonstrated high specificity (94–97%), although sensitivity was lower for GD (43–47%) and DIO (40%), intermediate for Denti.AI, and higher for Diagnocat (81%). NPV was elevated across all groups (98–99%), whereas PPV was low (32–37%), reflecting a tendency toward false-positive results. For proximal primary caries, GD and DIO again exhibited high specificity (97–98%) but reduced sensitivity (40–60%). In contrast, Diagnocat and Denti.AI showed superior performance, with sensitivities of 86-93% and 80-87%, respectively, alongside high specificity (86–95%). PPV remained limited for both GD and AI software (20–63%). Regarding dental calculus, both GD and Diagnocat demonstrated high specificity (91–97%), with Diagnocat achieving the highest sensitivity (96%). NPV values were consistently high for both groups (98–100%), while PPV varied more substantially, ranging from 64–76% for GD and 52% for Diagnocat. Collectively, these findings indicate that AI may enhance diagnostic processes and clinical decision-making — particularly in identifying dental caries that might otherwise be missed by clinicians — as long as it is supported by clinical judgment.