As aplicações de recursos de realidade aumentada se tornam cada vez mais iminentes, e com isso surgem novas demandas à inteligência artificial. Uma delas é a possibilidade de ler texto do ambiente para tarefas de compreensão e tradução, por exemplo, com a possibilidade de substituir o texto original pela nova interpretação. Para que a experiência seja fluida, é desejável que o novo texto, que será inserido através de uma camada digital, tenha as mesmas características do texto original, como tamanho, cor, fonte e disposição.
Algumas soluções neste sentido já estão disponíveis, como aquela oferecida pelo Google Tradutor no modo de câmera. O aplicativo é capaz de compreender o texto do feed de vídeo, produzir uma tradução e aplicar a tradução ao feed em tempo real, mantendo as relações da imagem. Entretanto, um breve teste desta função mostra suas limitações. A maioria dos sistemas de inteligência artificial treinados nesta tarefa são especializados em condições bem específicas.
Com o objetivo de desenvolver um sistema mais abrangente, capaz de entender as nuances de textos presentes em cenários reais e de escrita manual, o Facebook desenvolveu o TextStyleBrush, que está sendo publicado em formato aberto. O modelo de inteligência artificial é capaz de substituir o texto em imagens, mantendo as características de formatação e disposição, usando como exemplo uma única palavra.
A arquitetura da rede neural é baseada no modelo generativo StyleGAN2, contando com dois módulos encoders, um responsável por extrair o conteúdo das imagens, ou seja, a informação textual, e outro que extrai o estilo. O conteúdo pode então ser substituído por conteúdo novo, que é mesclado em vários níveis de processamento com os encodings de estilo para produzir a nova representação. No link é possível ver uma representação simplificada da ferramenta em funcionamento.
O sistema mostra que a inteligência artificial pode ser usada para transferir a estética de textos com flexibilidade e precisão inéditas, em um regime de one-shot learning, ou seja, com um único exemplo. No momento, o Facebook está aperfeiçoando a ferramenta em algumas situações específicas, como para projetar texto em objetos metálicos ou adicionar caracteres de cores diferentes. O projeto ainda é tratado como experimental, mas as ideias apresentadas podem vir a incorporar as ferramentas de realidade aumentada ao longo de seu amadurecimento.
