IA generativa cria imagens diretamente a partir da atividade cerebral

Os modelos de difusão ganharam popularidade recentemente por sua capacidade de gerar imagens complexas, com alta qualidade, a partir de prompts simples de texto. Tecnicamente, entretanto, a abordagem permite utilizar outros tipos de prompt. Foi esta possibilidade que pesquisadores da Universidade de Osaka, no Japão, exploraram. Em um trabalho publicado recentemente, eles descrevem como conseguiram utilizar este tipo de inteligência artificial na ousada tarefa de reconstruir imagens diretamente a partir da atividade cerebral.

O trabalho envolveu submeter participantes a um teste onde eles eram apresentados imagens enquanto conectados a um equipamento de ressonância magnética funcional, que registra em tempo real as áreas do cérebro onde está havendo atividade. De posse dos dados, os pesquisadores aplicaram o chamado Stable Diffusion, um modelo de difusão latente que se tornou conhecido por ser uma opção ao DALL-E com acesso aberto. Os dados da ressonância são utilizados para a construção de um vetor semântico, similar ao vetor de embedding resultante de um prompt textual. Um decoder é responsável por converter uma imagem de ruído até o resultado final, guiado pelo vetor semântico. O método proposto se mostrou capaz de reconstruir imagens com alta resolução, com alta fidelidade semântica, sem a necessidade de treinamento adicional ou fine-tuning.

Créditos: Autores.

Além dos resultados impressionantes do ponto de vista da inteligência artificial, os autores do trabalho ainda interpretaram cada componente do modelo de difusão de uma perspectiva neuro-científica, mapeando componentes específicos até regiões do cérebro. Isso mostra como cada região ajuda a “dar forma” ao sinal luminoso bruto que o cérebro recebe para processar.

Este trabalho parece sugerir que logo teremos computadores capazes de literalmente ler a mente, mas os pesquisadores são mais modestos. Sua expectativa é ajudar a entender como o cérebro representa o mundo, e a interpretar a conexão entre os modelos de visão computacional e o sistema visual.

Sobre o autor

2 comentários em “IA generativa cria imagens diretamente a partir da atividade cerebral”

  1. Gostaria de saber como transferir sistema neural em imagem real ..se isso é possível através dos sistemas de energia neural que produzimos no celebro..juntando com combinações binários de programação atual

    1. Olá Jonas, por enquanto isso ainda está em caráter experimental, apenas laboratórios com o equipamento adequado conseguem fazer esses estudos e ainda mais pra mostrar que a ideia funciona do que para aplicações práticas.

Deixe um comentário

O seu endereço de e-mail não será publicado. Campos obrigatórios são marcados com *

Esse site utiliza o Akismet para reduzir spam. Aprenda como seus dados de comentários são processados.