mecanismo de atenção

Transformers em PLN (parte 2 de 2): estrutura e funcionamento da rede

Conceitos sobre IA / Por Denny Ceccon / 28 de fevereiro de 2020 29 de fevereiro de 2020

Neste artigo apresento como o conceito de atenção é implementado na estrutura do transformer, quais são as principais etapas que envolvem uma tarefa do tipo seq2seq nessa estrutura, e por que os transformers têm desbancado mesmo as versões mais recentes de RNNs.

Transformers em PLN (parte 1 de 2): mecanismo de atenção

Conceitos sobre IA / Por Denny Ceccon / 26 de fevereiro de 2020 29 de fevereiro de 2020

Conheça o mecanismo de atenção, que é a base do transformer, a arquitetura de rede mais recente para PLN, e que permite que uma rede focalize em trechos específicos de uma sequência de dados para produzir resultados mais precisos.