A geração de imagens humanas fotorrealistas tem aplicações que incluem a criação de avatares virtuais, provadores virtuais, transferência de movimentos e a chamada síntese de posicionamento, onde várias imagens são usadas para gerar uma imagem de um novo ponto de vista. No caso de pessoas, esta tarefa é particularmente complicada para as abordagens tradicionais de processamento gráfico porque ela envolve a geometria tridimensional do corpo e das roupas; o controle das poses que é limitado pela estrutura física dos corpos e que causa deformações na forma; e a síntese de padrões de dobra que ocorrem, por exemplo, com roupas largas. Recentemente, métodos baseados em inteligência artificial mostraram resultados promissores utilizando redes generativas adversariais, mas para aplicações muito particulares, não atingindo o grau de generalização necessário para seu uso indiscriminado.
Partindo destes métodos, pesquisadores da Virginia Tech, nos Estados Unidos, em parceria com a Adobe, apresentaram um sistema capaz de gerar renderizações humanas fotorrealistas em novas posições, mantendo os detalhes, a partir de uma única imagem original. O modelo usa a rede generativa chamada de StyleGAN, para transferência de estilo, mas numa abordagem condicionada pela pose. Os detalhes da imagem original são mantidos modulando a rede geradora através técnicas computacionais baseadas em superfície, que garantem a correta transferência da informação de um pixel dadas as restrições impostas pela nova posição.
O desempenho do modelo foi avaliado tanto na manutenção da identidade da pessoa representada na nova posição, quanto no detalhamento presente nas roupas. A figura abaixo demonstra, no primeiro caso, o reposicionamento corporal, e no segundo, a transferência de roupa.
O sistema se mostrou superior às alternativas disponíveis atualmente, representando um avanço real na tarefa de mapear os atributos físicos de uma imagem original para uma nova pose.
