Até agora, as produções artísticas geradas por IAs generativas eram manifestações digitais, que poderiam ser tornadas físicas através de métodos de impressão. Mas pesquisadores da Universidade Carnegie Mellon, nos Estados Unidos, acabam de apresentar FRIDA, um framework que capacita um braço mecânico a materializar, através da pintura, arte desenvolvida por seu módulo de inteligência artificial. Um usuário pode informar ao sistema um prompt de texto e uma imagem, e levar para casa um quadro real.
FRIDA é a sigla para Framework and Robotics Initiative for Developing Arts, ou iniciativa de framework e robótica para desenvolver arte, em tradução livre. Os sistemas atuais que tratam da tarefa consideram que existem duas etapas independentes e sequenciais: produção do conteúdo e execução da pintura. A FRIDA, por sua vez, incorpora as duas etapas readequando sua execução em função da percepção visual do resultado final.
Para a geração do conteúdo, o sistema implementa um ambiente de simulação, através de um paradigma chamado de “real para simulação para real” (real2sim2real). Nesta fase, o braço mecânico gera pinceladas que são representadas por três parâmetros: pressão, comprimento e curvatura. Esta parte do modelo converte as pinceladas em imagem usando apenas operações matemáticas diferenciáveis, o que é fundamental para aplicar um mecanismo de gradiente estocástico na etapa de aprendizagem. As equações de custo comparam as pinceladas com diferentes modalidades de entrada, como inputs de texto, imagens de estilo ou imagens de referência. Assim, a FRIDA pode aprender a minimizar esse custo em um ambiente simulado.
Na etapa de execução, a dinâmica do processo é modelada através da otimização constante do planejamento da pintura, com base no resultado da tela ao longo do processo, que é monitorado através de fotografias em intervalos regulares. Estes resultados parciais são representados por objetivos considerados de alto nível por um avaliador humano, e servem para ajustar o planejamento da pintura, sempre buscando minimizar as funções de custo. Os resultados são pinturas com maior fidelidade à realidade.
Na página dedicada ao projeto, além de ver o robô pitando, é possível conhecer algumas produções baseadas em prompt de texto mais imagem de estilo, prompt de texto mais imagem de referência e sketch, e pinturas que usam fotografias ou outros quadros como referência.
