Uma inteligência artificial apresentada no início do ano pode facilitar a vida de músicos profissionais e amadores na criação de novas composições. SingSong é um sistema que gera acompanhamento instrumental para um input vocal, permitindo ao usuário criar os esboços iniciais de uma música completa usando apenas a própria voz.
O sistema foi construído fazendo uso dos desenvolvimentos mais recentes na separação de músicas em seus componentes vocal e instrumental, e na geração de áudio com prompt. Um algoritmo foi utilizado para realizar a separação a partir de um grande corpus de áudio musical, produzindo pares alinhados de suas fontes vocal e instrumental. Estes dados foram então utilizados em uma adaptação do AudioLM, um modelo do Google capaz de produzir música a partir de um pequeno prompt sonoro. As adaptações permitiram que o modelo operasse de maneira condicional, o que por sua vez capacitou o treinamento do modelo com os pares sonoros. O resultado é uma inteligência artificial capaz de sintetizar uma trilha instrumental utilizando como entrada apenas o input vocal. Os autores ainda trabalharam em diferentes técnicas para converter o input vocal em atributos úteis para o modelo, melhorando significativamente o método utilizado pelo AudioLM.
Em uma fase qualitativa da avaliação, voluntários foram solicitados para comparar trechos vocais com o acompanhamento instrumental oriundo de três fontes diferentes: a instrumentação original, aquela produzida pelo SingSong, e uma linha de base. Eles deveriam avaliar se o acompanhamento era compatível com a faixa vocal. As produções geradas pelo SingSong ficaram significativamente acima das linhas de base, ainda que o acompanhamento original tenha sido a versão preferida dos avaliadores.
Vários exemplos comparados dos resultados obtidos podem ser acessados na página do projeto.
Denny Ceccon… Posso ter o acompanhamento de um violão ou até mais instrumentos… utilizando apenas minha voz na composição? Aguardo sua resposta… mui grato
Olá Paulo,
A ideia é essa, mas eu não cheguei a estudar o sistema a fundo, no blog nós buscamos apresentar novidades para demonstrar o que está sendo desenvolvido na área de inteligência artificial, mas sempre botamos as referências para que os interessados possam buscar mais informações.
E como acessamos para testar?
Fernando, nas publicações nós sempre incluímos links para encontrar mais informações.
Olá boa noite bom dia boa tarde tudo bem com vocês meus amores sejam todos bem vindos com muito amor e carinho há esse site tão maravilhoso
A idéia é muito interessante. Mas se não disponibilizar uma opção de teste, fica meio vaga a idéia.