Quando a inteligência artificial começou a ganhar tração na área de edição de imagens, um dos primeiros recursos que chamou a atenção do público foi a transferência de estilo. Utilizando redes neurais especialmente desenvolvidas para esta finalidade, passou a ser possível extrair o estilo artístico de, digamos, um quadro de um pintor famoso, e transferi-lo para uma imagem inédita, simulando o trabalho artístico com este novo conteúdo. Entretanto, até então, a técnica permaneceu restrita à perspectiva única representada pela nova imagem.
Por outro lado, os chamados campos de radiância neural (NeRF, sigla em inglês) empregam inteligência artificial para gerar novas perspectivas – na prática, imagens tridimensionais – a partir de um conjunto de imagens com perspectivas variadas de um objeto. A sua limitação, contudo, é relativa à edição: é difícil editar os NeRFs para, por exemplo, adicionar um estilo às perspectivas, especialmente quando utilizamos uma estratégia guiada por um prompt de texto, já que tanto a aparência quanto a geometria devem ser modificadas simultaneamente.
Um trabalho publicado por pesquisadores da Universidade Municipal de Hong Kong, em parceria com a Microsoft, apresentou uma solução capaz de integrar as duas técnicas, eliminando suas limitações. Batizada de NeRF-Art, a abordagem é apresentada como uma ferramenta de estilização de NeRF guiada por texto que manipula o estilo de um modelo NeRF pré-treinado com um único prompt textual.
A grande inovação introduzida foi uma estratégia de aprendizado contrastivo do tipo global-local, que é combinada com a limitação direcional para controlar simultaneamente a trajetória e a força do estilo alvo. Além disso, um método de regularização dos pesos é aplicado para suprimir a geração de artefatos e ruídos. Desta forma, ao contrário das técnicas disponíveis anteriormente, o NeRF-Art não introduz deformações geométricas ou nos detalhes de textura, nem requer malhas para guiar a estilização. O novo método se mostrou eficiente tanto na qualidade de estilização em perspectivas únicas quanto na consistência através de perspectivas.
A página oficial do projeto apresenta mais detalhes sobre o fluxo que a abordagem segue, além de vários resultados obtidos, como a aplicação de estilos “Lord Voldemort”, “elfo de Tolkien” ou “Pixar” em fotos de pessoas e ambientes. O artigo e o código também estão disponíveis para consulta.
