GAN constrói rostos em alta resolução a partir de imagens de 16×16 pixels

Os métodos de aumento de resolução baseados em inteligência artificial geralmente são arquiteturas que buscam preencher os pixels faltantes com um valor determinado através de uma métrica de distância entre os pixels adjacentes. Essa abordagem, entretanto, é limitada pelo fato de produzir regiões desfocadas onde a variação nos valores dos pixels é muito grande, e pela capacidade de aumentar a resolução até no máximo oito vezes.

Mas pesquisadores da Universidade de Duke conseguiram desenvolver um método capaz de melhorar a resolução em 64 vezes. No trabalho submetido em março, os autores testaram o conceito com imagens de rostos, transformando representações de 16×16 pixels – onde nenhum traço que possibilite a identificação da pessoa é discernível – em imagens realistas de 1024×1024 pixels.

O método, batizado PULSE, conseguiu atingir esses resultados através de uma nova abordagem. Ao invés de reconstruir os pixels faltantes com informações da própria imagem, o algoritmo compara regiões da imagem em baixa resolução com um banco de dados onde imagens de alta resolução são pareadas com suas versões de baixa qualidade, assim retirando as informações faltantes dessas imagens melhores, construindo região por região o rosto completo pela adição de poros, rugas e mechas de cabelo, por exemplo. Então, na verdade o algoritmo não reconstrói a imagem original – o que, dada a baixíssima resolução dos dados de entrada, seria até impossível -, mas gera uma nova imagem com atributos realistas. Não por acaso, a arquitetura é de uma rede adversarial generativa.

Meet the authors: Sachit Menon, Alex Damian, McCourt Hu, Nikhil Ravi and Cynthia Rudin. From a single blurred image PULSE can generate uncannily lifelike portraits, which might differ subtly from the real person but are much sharper than previous methods.
Demonstração dos resultados do algoritmo, usando fotografias dos autores do trabalho. As fotos originais tiveram a resolução diminuída para serem processadas pelo PULSE. Crédito: autores.

As imagens geradas pelo PULSE foram analisadas por 40 pessoas, comparando com outros métodos de upscaling disponíveis. De acordo com essa avaliação, o PULSE foi o método mais eficiente, gerando resultados de qualidade e credibilidade quase comparável à de imagens reais em alta resolução.

O método certamente não é indicado para, por exemplo, aumentar a resolução de imagens onde a identificação das pessoas é o objetivo, mas tem valor artístico nos casos onde outros métodos não são capazes de performar.