Certo Cesar,

Se você tem o identificador da voz anotado em seu dataset, então a ideia é a mesma que mencionei acima. Você usa a classe que identifica a voz para treinar seu modelo.