Os modelos de difusão se popularizaram nos últimos anos por sua capacidade de sintetizar imagens a partir de um prompt de texto. Algumas aplicações já conseguem até criar pequenos clipes. Esta tarefa é de enorme interesse em áreas como a realidade virtual, jogos e animações, já que permite automatizar ações dos avatares “de fundo”, com os quais um usuário não interage, mas que ajudam a criar a ilusão de um ambiente rico. Entretanto, devido à complexidade dos movimentos humanos, gerar ações plausíveis tem sido um desafio até para os modelos de difusão. Mesmo nos casos bem sucedidos, restrições precisam ser explicitamente informadas para simular dinâmicas complicadas. As anomalias mais comuns são avatares que flutuam, escorregam ou atravessam o chão.
Um trabalho publicado por pesquisadores da NVIDIA trouxe avanços interessantes neste sentido. Eles criaram um modelo chamado de PhysDiff, que aplica o processo de difusão guiado pela física, de forma a incorporar princípios físicos durante a construção das imagens.
O sistema é treinado através de uma política de imitação, onde o agente deve imitar movimentos a partir de dados obtidos por captura de movimentos. Depois do treinamento, o modelo pode produzir movimentos apropriados através da etapa de difusão. Ao invés de aplicar a projeção baseada em física apenas no final, de forma a “arrumar” as incoerências geradas, os desenvolvedores optaram por intercalar as etapas de difusão e projeção, garantindo que o processo todo seja limitado pelas restrições necessárias para gerar produções plausíveis.
Os resultados, assim como comparações com os atuais modelos estado-da-arte, podem ser visualizados na página oficial do projeto. Na tarefa text-to-motion, o PhysDiff venceu o modelo concorrente reduzindo erros de física em mais de 86%, ainda melhorando a qualidade dos movimentos em mais de 20%.
Este trabalho mostra que, em breve, a geração de artefatos em ambientes virtuais, que são necessários para garantir o realismo, devem ficar largamente a cargo da inteligência artificial.
