As redes neurais funcionam encontrando pequenas nuances na coleção que dados que recebem para treinamento, que elas descobrem serem úteis para a realização de uma tarefa como a produção de um diagnóstico. Essas nuances podem ser tão sutis, e às vezes tão complexas, que o resultado é que esta estrutura específica de inteligência artificial tem uma baixa explicabilidade. É como se, no final das contas, o resultado da avaliação da rede neural fosse a interação entre diversos pixels separados em uma imagem; ainda que seja possível determinar quais características dos dados são relevantes para a tarefa, esta identificação não consegue ser traduzidas em conceitos de fácil interpretação. Isto pode ser um problema por diferentes motivos. A rede pode estar determinando um diagnóstico, por exemplo, com base no hospital onde os exames foram realizados., e não nos resultados dos exames em si Ainda que os dados de fato apontem para este viés – se não, a rede não teria feito esta associação -, nós, que temos um conhecimento maior do mundo, sabemos que esta relação é espúria, fruto de um viés que passou despercebido na montagem do dataset. Por isso é tão importante saber como as redes neurais produzem suas conclusões.
Vários esforços têm sido realizados na direção da consolidação de uma área que tem sido chamada de machine learning interpretável. Um exemplo é um trabalho realizado na Universidade Duke, nos Estados Unidos, que foca no desenvolvimento de inteligência artificial capaz de explicar seu raciocínio. Os pesquisadores construíram uma arquitetura que foi chamado de rede de parte prototípica (prototypical part network, ProtoPNet), que foi aplicada para identificar e classificar pássaros em imagens.
A estrutura da rede neural foi desenhada para que, na fase de treinamento, ela pudesse aprender características prototípicas de cada espécie de ave, como por exemplo o tamanho da cabeça, a cor das patas e da plumagem, e a presença de artefatos específicos como cauda estilizada ou topete. Depois, ela deveria comparar as imagens com esta coleção de protótipos para definir a qual espécie determinada imagem correspondia. No final das contas, além de classificar a ave, a rede era capaz de informar os atributos exatos que determinaram a classificação.
O trabalho com os pássaros foi só uma maneira que os pesquisadores escolheram para demonstrar o potencial da técnica, já que datasets com imagens de pássaros são um benchmark comum na área de inteligência artificial. Agora, eles estão tentando replicar o método para uma tarefa com potencial prático muito maior, a análise de mamografias. O objetivo é encontrar sinais de câncer de mama ao mesmo tempo em que o algoritmo produz um relatório das alterações encontradas, em um nível de abstração capaz de ser interpretado por um médico, que além do diagnóstico, pode ajudar a determinar o melhor tratamento.
