Automatic test case generation guided by ensemble bug prediction

Abstract

As abordagens de Testes de Software Baseados em Busca (SBST) para geração automática de casos de teste têm melhorado a eficiência dos testes otimizando os tempos de desenvolvimento. No entanto, a capacidade dessas suítes de teste geradas automaticamente para identificar bugs ainda precisa ser aprimorada, uma vez que, na maioria das vezes, o processo de geração de casos de teste enfatiza a cobertura de áreas de código que são mais suscetíveis a bugs. Mesmo as tentativas de usar a previsão de defeitos para identificar seções problemáticas do código falham ao depender de abordagens de modelo único, que não conseguem abordar as complexidades únicas de diferentes projetos de software. A incorporação de modelos de previsão em conjunto no SBST poderia aumentar significativamente a capacidade das suítes de teste para detectar bugs. Apresentamos uma pesquisa empírica sobre o Algoritmo de Ordenação de Muitos Objetivos com Previsão em Conjunto (EPMOSA), uma abordagem SBST inovadora para gerar suítes de teste usando alocação de tempo dinâmica informada por modelos de previsão de bugs em conjunto – Alocação de Orçamento Previsivo em Conjunto para Testes de Software (EP-BAST). Os resultados experimentais em projetos do benchmark Defects4J indicam que o uso de modelos de previsão em conjunto melhora a eficácia de detecção de bugs das suítes de teste geradas automaticamente.

Search-based Software Testing (SBST) approaches for automatic test case generation have improved testing efficiency by optimizing development times. Nevertheless, the capacity of these automatically generated test suites to identify bugs still needs to be improved since, most of the times, the test case generation process emphasizes coverage over code areas that are more susceptible to bugs. Even attempts to use defect prediction to identify problematic code sections fall short when relying on single-model approaches, which fail to address the unique complexities of different software projects. Incorporating ensemble prediction models into SBST could significantly enhance the ability of test suites to detect bugs. We present empirical research on Ensemble Predictive Many-Objective Sorting Algorithm (EPMOSA), a novel SBST approach to generate test suites using dynamic time budget allocation informed by ensemble bug prediction models – Ensemble Predictive Budget Allocation for Software Testing (EP-BAST). Experimental findings on projects from the Defects4J benchmark indicate that employing ensemble prediction models improves the bug detection efficacy of automatically generated test suites.