Um dos registros cinematográficos mais antigos que existem é o curta L’arrivée d’un train en gare de La Ciotat, um filme mudo de 50 segundos mostrando um trem chegando à estação La Ciotat, na França. Ele foi filmado em 1896 pelos irmãos Lumière, pioneiros da cinematografia, usando um filme de 35 mm dentro de uma câmera Cinématographe, o primeiro aparelho usado para captura de vídeos.
O youtuber Denis Shiryaev resolveu usar as técnicas mais recentes de inteligência artificial para alcançar um feito impressionante: transformar o pequeno filme em uma versão com resolução 4K e frequência de 60 frames por segundo (fps).
Dois algoritmos foram usados neste projeto. O primeiro, Gigapixel AI, desenvolvido pelo Topaz Labs, é responsável por aumentar a resolução. Este algoritmo foi treinado na tarefa de diminuir a resolução de imagens, mas fazendo isso ele aprendeu quais informações são perdidas no processo, e assim consegue recuperá-las mesmo em imagens não usadas durante o treinamento. Assim, ele preenche os pixels onde eles não existem originalmente, alcançando o resultado chamado de upscaling.
O segundo algoritmo é o DAIN (Depth-Ware Video Frame Interpolation, ou Interpolação de Frames de Vídeo com Conhecimento de Profundidade), que foi desenvolvido em parceria com engenheiros do Google. Ele é responsável por inserir quadros inteiros entre as imagens, assim aumentando sua frequência. O objetivo de uma alta taxa de frequência é fazer com que a transição das imagens seja suave, dando naturalidade ao resultado final. A parte do “conhecimento de profundidade” quer dizer que o algoritmo consegue processar diferentes condições de foco. Ele foi treinado para prever frames intermediários a partir do anterior e do posterior, conseguindo depois prever frames que sequer existem.
O resultado final pode ser visualizado abaixo, onde é possível observar o nível de detalhes inclusive na distância. A trilha sonora é liberdade artística do autor.
Nos comentários do vídeo, o artista enfatiza que seu único trabalho foi usar os algoritmos que estão disponíveis publicamente. Uma excelente notícia para admiradores da arte que queiram usar inteligência artificial em seus projetos.
Depois da publicação do vídeo em ultra-resolução, o autor também usou outro algoritmo, DeOldify, para inserir cores no vídeo.
