SingSong é a IA que produz acompanhamento instrumental para músicas apenas com vocal

Uma inteligência artificial apresentada no início do ano pode facilitar a vida de músicos profissionais e amadores na criação de novas composições. SingSong é um sistema que gera acompanhamento instrumental para um input vocal, permitindo ao usuário criar os esboços iniciais de uma música completa usando apenas a própria voz.

O sistema foi construído fazendo uso dos desenvolvimentos mais recentes na separação de músicas em seus componentes vocal e instrumental, e na geração de áudio com prompt. Um algoritmo foi utilizado para realizar a separação a partir de um grande corpus de áudio musical, produzindo pares alinhados de suas fontes vocal e instrumental. Estes dados foram então utilizados em uma adaptação do AudioLM, um modelo do Google capaz de produzir música a partir de um pequeno prompt sonoro. As adaptações permitiram que o modelo operasse de maneira condicional, o que por sua vez capacitou o treinamento do modelo com os pares sonoros. O resultado é uma inteligência artificial capaz de sintetizar uma trilha instrumental utilizando como entrada apenas o input vocal. Os autores ainda trabalharam em diferentes técnicas para converter o input vocal em atributos úteis para o modelo, melhorando significativamente o método utilizado pelo AudioLM.

Em uma fase qualitativa da avaliação, voluntários foram solicitados para comparar trechos vocais com o acompanhamento instrumental oriundo de três fontes diferentes: a instrumentação original, aquela produzida pelo SingSong, e uma linha de base. Eles deveriam avaliar se o acompanhamento era compatível com a faixa vocal. As produções geradas pelo SingSong ficaram significativamente acima das linhas de base, ainda que o acompanhamento original tenha sido a versão preferida dos avaliadores.

Vários exemplos comparados dos resultados obtidos podem ser acessados na página do projeto.