Pesquisadores avaliaram o padrão de ativação de vários modelos de processamento de linguagem natural, reconhecendo uma alta similaridade ao funcionamento do cérebro humana na tarefa de predizer a próxima palavra.
O modelo foi treinado em um regime de aprendizado por reforço, utilizando o feedback humano como orientador. Este regime de treinamento, junto com o processamento do texto em trechos menores, permitiu que o sistema atingisse o melhor desempenho na tarefa até hoje.
A ferramenta aplica conceitos modernos de processamento de linguagem natural para corrigir as redações enviadas por alunos, dando uma nota, anotando os erros e sugerindo melhorias.
Usando mecanismos de atenção e redes neurais recorrentes, o modelo consegue identificar as palavras que denotam sarcasmo e suas dependências ao longo do texto, gerando uma pontuação para o nível de sarcasmo encontrado.
O modelo usa os transformers, módulos que aplicam os mecanismos de atenção a textos e que já servem de base para os modelos de linguagem mais recentes, para produzir diálogos sensatos e coerentes em formato aberto, o que torna a conversa com chatbots mais natural.
O novo modelo do Google aplica mecanismos de atenção esparsos para contornar as limitações dos modelos anteriores, assim alcançando desempenho superior em tarefas de NLP com textos longos.
A ferramenta evolui os conceitos mais recentes de processamento de linguagem natural para gerar resumos abstrativos – texto novo contendo as principais ideias do texto original – com a maior taxa de compressão atual.
Introdução O Processamento de Linguagem Natural é uma das áreas da Inteligência Artificial que está em franco crescimento em termos de novas bibliotecas e novos modelos de Machine Learning e Deep Learning. Aplicações de Processamento de Linguagem Natural – PLN, ou em inglês, Natural Language Processing – NLP, possui diversas aplicações como detecção do tópico,
O sistema de processamento de linguagem natural faz a transcrição de texto clínico falado, e depois estabelece a relação entre o texto e uma biblioteca padronizada de termos clínicos, sendo capaz de produzir conclusões de valor médico.
O modelo foi treinado para produzir textos através da “predição da próxima palavra”, mas consegue realizar tarefas que parecem exigir alguma capacidade cognitiva, como por exemplo aquelas em que recebe uma simples instrução, sem ter sido treinado para isso.
