Trabalho expõe que redes neurais robustas com arquitetura diferente funcionam de forma similar

As redes neurais são a arquitetura mais aplicada atualmente em inteligência artificial, servindo como base para os sistemas mais avançados à disposição. Apesar de seu sucesso, uma preocupação que permanece é com a baixa explicabilidade dessas estruturas, sendo em muitos casos impossível entender o raciocínio que elas aplicam para produzir um resultado. Vários métodos têm sido propostos no intuito de comparar a similaridade entre as representações que diferentes redes neurais criam, com o intuito de entender melhor seu funcionamento. Entretanto, as métricas propostas até então costumam superestimar a similaridade devido à alta correlação entre os dados que elas tratam. Em outras palavras, as redes parecem similares mais por processarem dados similares do que por funcionarem de maneira similar.

Pesquisadores do Laboratório Nacional Los Alamos, nos Estados Unidos, acabam de publicar um trabalho propondo uma nova abordagem para comparar redes. A ideia começou com o levantamento de que redes treinadas com dados de alta qualidade tendem a performar de forma estranha diante de qualquer aberração, como ficou emblemático há alguns anos no caso de sinais de trânsito interpretados de forma errada. Para garantir a robustez desses modelos, desenvolvedores têm aplicado um regime de treinamento adversarial, onde dados aberrantes são intencionalmente adicionados ao treinamento, forçando a rede a aprender a ignorá-los. Em vista disso, os pesquisadores de Los Alamos desenvolveram uma métrica para determinar a similaridade entre redes neurais, e observaram que sistemas robustos tendem a convergir para uma mesma solução, ou seja, tendem a apresentar alta similaridade. Isto indica que, no fundo, mesmo com arquiteturas distintas, redes capazes de distinguir sinais úteis de fatores de confusão estão fazendo a mesma coisa.

Esta descoberta é muito interessante, já que desenvolvedores têm atualmente focado na busca da arquitetura correta para resolver determinado problema. O trabalho mostra, entretanto, que a arquitetura em si tem menor relevância do que se imaginava, o que pode diminuir o espaço de busca consideravelmente. A sugestão é que o regime de treinamento pode ter um impacto até então subestimado.

Os cientistas acreditam que suas observações podem ter implicações ainda mais profundas, esclarecendo características de aprendizagem até mesmo em animais e humanos, já que o tráfego de informação no cérebro é muito similar ao que ocorre nos processadores de silício.

Sobre o autor

Deixe um comentário

O seu endereço de e-mail não será publicado. Campos obrigatórios são marcados com *

Esse site utiliza o Akismet para reduzir spam. Aprenda como seus dados de comentários são processados.