Voice Morphing com base em Aprendizado Wavelet

Abstract

Algoritmos para conversão de voz, tradicionalmente conhecidos como voice morphing algorithms, têm tido aplicações diversas, tais como a substituição de falas de locutores falescidos ou com o sistema fonatório incapacitado, a possibilidade que determinada música originalmente cantada por um locutor surja com a voz de outro, e assim por diante. Recentemente, tais técnicas têm se tornado mais populares em função dos algoritmos de deep fake, entretanto, a maior desvantagem deles é a dificuldade em criar modelos interpretáveis, assim como ocorre com quaisquer estratégias baseadas em deep learning. Desse modo, neste trabalho, a intenção é a de explorar uma outra possibilidade: a conversão de voz baseada na Transformada Wavelet de Tempo Discreto (DTWT), trabalhando em associação com redes neurais artificiais rasas, que possuem maior possibilidade de gerar modelos interpretáveis. Particularmente, relacionam-se quais os melhores filtros wavelet para conversão de determinados padrões de voz. Testes são realizados com vozes da base de dados TIMIT do Linguistic Data Consortium (LDC) que permitem constatar a viabilidade da estratégia proposta considerando testes de preferência acústica e métricas de distância.

Algorithms for voice conversion, traditionally known as voice morphing algorithms, have been used in a number of applications, such as replacing deceased speakers or those with an incapacitated phonatory system, playing a song as if it had been sung by another speaker, and so on. Recently, such techniques have become more popular due to the deep fake algorithms, however, their biggest disadvantage is the difficulty in creating interpretable models, as happens with any strategies based on deep learning. Thus, in this work, the intention is to explore another possibility: speech conversion based on Discrete Time Wavelet Transform (DTWT) working in association with shallow artificial neural networks, which have greater possibility of generating interpretable models. Particularly, the best wavelet filters for converting certain speech patterns are determined. Tests are performed with voices from the Linguistic Data Consortium (LDC) TIMIT database, being assessed based on acoustic preference tests and distance metrics.