NVIDIA apresenta RANA: avatares neurais articulados que podem ser reiluminados

O surgimento de ferramentas baseadas em realidade virtual tem aumentado a demanda pela geração de avatares fotorrealistas que sejam nossas próprias versões navegando em cenários criados por computador. As técnicas atuais para transferir características humanas pessoais para avatares são bastante limitadas, tendo dificuldade em traduzir as proporções e texturas do corpo humano para modelos virtuais, o que fica ainda mais comprometido conforme movimento é adicionado ou o personagem é transportado para um ambiente com iluminação diferente daquela do material fonte.

No início do mês, uma nova solução foi apresentada por pesquisadores da NVIDIA. Eles divulgaram o RANA (Relightable Articulated Neural Avatars, ou avatares neurais articulados que podem ser reiluminados, em tradução livre), uma técnica que usa inteligência artificial para gerar avatares animados a partir de um curto vídeo da pessoa a ser digitalizada. O método divide o problema em três tarefas: estimativa grossa da geometria, estimativa grossa da textura, e aplicação de luz. Na primeira delas, o vídeo original, que mostra a pessoa em corpo inteiro girando lentamente sobre o eixo vertical, é utilizado como fonte para transferir a geometria da pessoa para o avatar base. Esta produção é então utilizada para gerar um mapa de textura da pessoa, novamente usando como fonte os frames do vídeo original. Esta etapa gera algumas regiões com baixa resolução e ruído, além de conter a informação de iluminação do ambiente original. Uma rede neural chamada de TextureNet é utilizada para refinar o mapa, que é então aplicado ao avatar. O aumento do realismo também é atingido com o uso de duas redes neurais adicionais, NormalNet e AlbedoNet, que melhoram tanto detalhes geométricos como de textura no avatar criado até este ponto. Por fim, a iluminação do ambiente virtual é aplicada usando projeção esférica harmônica. Durante o treinamento do sistema, todas as etapas são aprendidas em conjunto. O resultado é uma versão virtual crível da pessoa, com movimentação coerente e cuja superfície reage de forma realista ao ambiente em que ele está inserido. Alguns exemplos podem ser vistos no site do projeto.

No trabalho, o desempenho do RANA foi comparado com os outros sistemas disponíveis, tanto no quesito de novas poses quanto de síntese luminosa, produzindo resultados superiores em todos os cenários.

Os desenvolvedores destacam que o sistema já pode ser utilizado para reiluminar avatares criados separadamente conforme as condições de um novo ambiente único onde eles devem ser reunidos, ou para iluminar um único avatar produzido a partir de um vídeo monocular (ou seja, com uma única lente, como é o caso das câmeras tradicionais). Em breve, aplicações ainda mais complexas, como a geração de avatares pessoais a partir de vídeos captados por um smartphone, por exemplo, devem seguir como evolução natural da tecnologia.

Sobre o autor

Deixe um comentário

O seu endereço de e-mail não será publicado. Campos obrigatórios são marcados com *

Esse site utiliza o Akismet para reduzir spam. Aprenda como seus dados de comentários são processados.