Os modelos de linguagem mais poderosos, como o GPT-3, são capazes de realizar tarefas complexas envolvendo textos através da compreensão do seu contexto. É assim que eles conseguem responder perguntas, identificar similaridades, produzir novos textos e traduzir para outro idioma, por exemplo. Entretanto, as tarefas textuais que envolvem outra área de conhecimento, e que portanto exigem uma lógica multifatorial, ainda carecem de desenvolvimento. É o caso de problemas de matemática, onde não somente a língua deve ser interpretada, mas os princípios matemáticos também.
Buscando levar o desempenho da inteligência artificial nessas tarefas a um novo patamar, um time de pesquisadores do OpenAI trabalhou em um novo método para resolver problemas matemáticos de nível escolar. Os modelos treinados neste regime são equipados com verificadores, que são módulos específicos para avaliar as respostas dadas pelo modelo ao problema. No trabalho realizado, dentre 100 opções de resposta produzidas pelo modelo, os verificadores escolhem a melhor resposta com base na solução do problema e informam ao modelo onde ele errou. Desta forma, a tarefa é executada em passos realizados com cuidado, o que ajuda na convergência da resposta correta.
O sistema foi treinado com o dataset GSM8K, que contém 8500 problemas matemáticos de nível escolar descritos em forma de texto. A solução de cada problema leva entre 2 e 8 passos, e envolve as operações matemáticas elementares da soma, subtração, multiplicação e divisão. Os modelos de linguagem tradicionais costumam ter um desempenho ruim na resolução desta tarefa, e o menor erro nas etapas de resolução provoca divergências irrecuperáveis, mas a nova arquitetura atingiu um nível similar aos humanos, alcançando 90% da precisão de um grupo de alunos com 9 a 12 anos. O desempenho superior se deve à inclusão da etapa de verificação durante o treinamento, que representa um custo computacional consideravelmente mais baixo se comparado com a mesma performance mas sem seu uso.
Para além desta tarefa específica, o desenvolvimento é importante porque evidencia a capacidade do novo modelo de aprender a usar senso comum, algo que até então era considerado difícil de ensinar à inteligência artificial, mas que qualquer criança em idade escolar já consegue desempenhar.
