Em um artigo publicado em fevereiro, pesquisadores da empresa californiana OpenAI apresentaram uma nova abordagem para a realização de tarefas baseadas em processamento de linguagem natural, usando inteligência artificial. Tradicionalmente, os modelos trabalham com aprendizado supervisionado, onde os bancos de dados para treinamento são específicos para a tarefa em questão – como responder perguntas, tradução, compreensão de texto ou geração de resumos; como resultado, uma grande gama de modelos disponíveis no mercado pode ser caracterizada como experts em uma única tarefa. Objetivando gerar um modelo que pudesse se tornar um competente generalista, os pesquisados da OpenAI desenvolveram uma abordagem que usa treinamento não-supervisionado, baseado em uma arquitetura de rede neural apresentada recentemente chamada Transformer, por sua vez aplicada em um novo banco de dados contendo milhões de páginas da internet, chamado WebText. No final do trabalho, o GPT-2 – o maior modelo gerado pela OpenAI, que contém 1,5 bilhão de parâmetros – produz resultados considerados referência em 7 dos 8 bancos de dados testados.
Talvez a tarefa mais impressionante que o GPT-2 é capaz de realizar seja sua habilidade de gerar textos, o que inclui notícias e reviews de produtos extremamente convincentes. O sistema funciona quando um usuário digita o início de um texto qualquer. A partir daí, o algoritmo faz todo o resto. A prosa ainda é meio dura e o texto perde a coerência quanto maior for, mas é a primeira vez que algo que pode se passar por um texto real, ainda que produzido por um escritor mediano, alcança esse nível de complexidade. É importante observar, entretanto, que o GPT-2 não gera notícias verdadeiras, baseadas em fatos, apenas texto, o que quer dizer que todas as citações, nomes de pessoas e instituições são aleatórias. Ele se baseia nos textos onde foi treinado para prever qual a próxima palavra a ser inserida, uma palavra por vez.
De uma forma mais ampla, o modelo nos apresenta ao potencial do aprendizado não-supervisionado aplicado a tarefas que envolvam processamento de linguagem natural. Além da maior capacidade de generalização, uma grande vantagem de usar essa abordagem é a capacidade de usar bancos de dados que não tenham sido rotulados. Ou seja, tecnicamente, qualquer dado (de boa qualidade) pode ser usada para alimentar o modelo, que vai aprender as características dos dados por conta própria. É como transferir para a máquina a tarefa de curadoria de bancos de dados que hoje cabe aos humanos.
Outra vantagem é uma consequência do método: ele desempenha melhor tarefas que dependem de contextualização. Numa frase do tipo “Miguel deixou o carro em casa porque ele estava sem bateria”, nós prontamente reconhecemos que ele se refere ao carro, não ao Miguel, mas os métodos supervisionados de machine learning patinam para fazer essas associações. Os métodos não-supervisionados apresentam um desempenho melhor na faixa de 7% em termos absolutos.
Quando esses avanços diminuem a distância que separa a inteligência natural da artificial, muitas pessoas ficam preocupadas com o mau uso que pode ser feito da tecnologia. O potencial para a geração de fake news, por exemplo, é evidente. Os pesquisador do OpenAI estão comprometidos com desenvolver formas de limitar o uso destrutivo da ferramenta. Por isso, por enquanto eles estão liberando apenas uma versão simplificada para que as pessoas possam testar o recurso. Ainda que essas preocupações sejam pertinentes, é difícil não reconhecer as impactantes vantagens que uma tecnologia como essa traz consigo.
Para uma amostra da ferramenta, siga o link e se impressione. (Em inglês.)