SingSong é a IA que produz acompanhamento instrumental para músicas apenas com vocal

Uma inteligência artificial apresentada no início do ano pode facilitar a vida de músicos profissionais e amadores na criação de novas composições. SingSong é um sistema que gera acompanhamento instrumental para um input vocal, permitindo ao usuário criar os esboços iniciais de uma música completa usando apenas a própria voz.

O sistema foi construído fazendo uso dos desenvolvimentos mais recentes na separação de músicas em seus componentes vocal e instrumental, e na geração de áudio com prompt. Um algoritmo foi utilizado para realizar a separação a partir de um grande corpus de áudio musical, produzindo pares alinhados de suas fontes vocal e instrumental. Estes dados foram então utilizados em uma adaptação do AudioLM, um modelo do Google capaz de produzir música a partir de um pequeno prompt sonoro. As adaptações permitiram que o modelo operasse de maneira condicional, o que por sua vez capacitou o treinamento do modelo com os pares sonoros. O resultado é uma inteligência artificial capaz de sintetizar uma trilha instrumental utilizando como entrada apenas o input vocal. Os autores ainda trabalharam em diferentes técnicas para converter o input vocal em atributos úteis para o modelo, melhorando significativamente o método utilizado pelo AudioLM.

Em uma fase qualitativa da avaliação, voluntários foram solicitados para comparar trechos vocais com o acompanhamento instrumental oriundo de três fontes diferentes: a instrumentação original, aquela produzida pelo SingSong, e uma linha de base. Eles deveriam avaliar se o acompanhamento era compatível com a faixa vocal. As produções geradas pelo SingSong ficaram significativamente acima das linhas de base, ainda que o acompanhamento original tenha sido a versão preferida dos avaliadores.

Vários exemplos comparados dos resultados obtidos podem ser acessados na página do projeto.

Sobre o autor

2 comentários em “SingSong é a IA que produz acompanhamento instrumental para músicas apenas com vocal”

  1. Paulo Roberto dos Santos

    Denny Ceccon… Posso ter o acompanhamento de um violão ou até mais instrumentos… utilizando apenas minha voz na composição? Aguardo sua resposta… mui grato

  2. Olá Paulo,
    A ideia é essa, mas eu não cheguei a estudar o sistema a fundo, no blog nós buscamos apresentar novidades para demonstrar o que está sendo desenvolvido na área de inteligência artificial, mas sempre botamos as referências para que os interessados possam buscar mais informações.

Deixe um comentário

O seu endereço de e-mail não será publicado. Campos obrigatórios são marcados com *

Esse site utiliza o Akismet para reduzir spam. Aprenda como seus dados de comentários são processados.