No ano passado, a Sony e a Microsoft lançaram as novas versões de seus consoles para jogos, com o Playstation 5 e o Xbox Series X|S. Como é de praxe nessa indústria, os novos aparelhos produzem gráficos aprimorados em comparação à geração anterior. Mas mesmo com o gradual aprimoramento das técnicas, a produção de imagens fotorrealistas continua sendo um desafio aos desenvolvedores.
Em um trabalho publicado na semana passada, pesquisadores do Laboratório de Sistemas Inteligentes da Intel apresentam um novo sistema baseado em inteligência artificial para adicionar fotorrealismo a imagens sintéticas. O sistema emprega redes convolucionais que foram treinadas com um objetivo adversarial desenvolvido pelos pesquisadores, tendo como referência o dataset Cityscapes, que contém imagens de cidades alemãs coletadas por um veículo em trânsito. Como demonstração, o sistema foi aplicado a vídeos do jogo Grand Theft Auto 5, que foi lançado na geração anterior de consoles.
Métodos desenvolvidos anteriormente com a mesma finalidade não eram temporalmente consistentes, apresentando flutuações de qualidade, alucinando objetos e incluindo artefatos. O novo algoritmo produz resultados que são consistentes com os gráficos de entrada, e temporalmente estáveis. Para alcançar estes resultados, os chamados rendering buffers, produzidos pelo motor do jogo e que contêm camadas com informação geométrica das imagens, passam por um encoder que extrai features em diferentes níveis de abstração. Estes features são adicionadas às imagens finais renderizadas do jogo em uma rede para produzir imagens melhoradas. Estas imagens então são avaliadas por um módulo discriminador, comparando-as com as imagens do dataset Cityscape. Para isso, ele faz a segmentação das imagens, e usa a rede VGG-16 para produzir atributos visuais. O discriminador também compara as imagens melhoradas com as imagens originais, para garantir que elas mantém a sua estrutura. A avaliação feita pelo discriminador então guia os ajustes nos módulos que alteram as imagens para atingir os objetivos definidos.
Os autores observaram que o realismo dos objetos depende de sua presença no dataset original; no caso do jogo GTA 5, o método apresentou excelentes resultados para a textura do asfalto, dos veículos, e da vegetação, mas pedestres próximos não se mostraram convincentes. Entretanto, eles testaram o sistema com outro dataset que contém imagens capturadas por diferentes câmeras, e os resultados se mostraram consistentes com estas imagens.
Mais detalhes sobre a arquitetura da rede, e os resultados produzidos, podem ser visualizados no vídeo.
Como o método integra abordagens baseadas em aprendizagem de máquina com técnicas convencionais de renderização em tempo real, os pesquisadores esperam que ele encontre utilidade na produção gráfica. Por enquanto, o tempo de inferência é o gargalo do sistema, mas sua integração com os motores dos jogos pode aumentar a eficiência do processo e assim avançar o nível de realismo dos gráficos.
Show de bola, usar IA para jogos
Que bom que gostou Mayke 🙂