PromptPG habilita GPT a resolver problemas matemáticos em formato tabular

O ChatGPT tem impressionado o mundo com sua enorme capacidade conversacional e de raciocínio, sendo capaz de resolver problemas dos mais variados domínios. Modelos de linguagem deste tipo são até capazes de resolver problemas matemáticos, mas com a limitação de que eles devem ser descritos em forma textual. Entretanto, no mundo da matemática, é bastante comum que os dados sejam apresentados em formato tabular, que requer uma capacidade de raciocínio particular. Com dados desta natureza, os modelos de linguagem ainda apresentam resultados insatisfatórios.

Entretanto, um trabalho realizado por pesquisadores da Universidade da Califórnia, do Instituto de Tecnologia da Geórgia e do Instituto Allen para Inteligência Artificial, nos Estados Unidos, acabou de apresentar uma solução para este problema. Batizado de PromptPG, o novo método auxilia os modelos de linguagem a interpretar e resolver problemas matemáticos apresentados na forma tabular.

O PromptPG é baseado no chamado “gradiente de regra” (policy gradient), que é utilizado para resolver problemas envolvendo aprendizagem por reforço. Esta técnica envolve três passos: a amostragem das possíveis ações, o cálculo da recompensa, e o ajuste das regras. No seu caso específico, o PromptPG aplica o conceito de forma que exemplos contextualizados são obtidos a partir dos dados de treinamento, e os prompts são desenvolvidos para os dados de teste. Isto tudo integrado à interface dos modelos de linguagem da família GPT. O trabalho exigiu a construção de um dataset específico, que foi chamado de TabMWP (Tabular Math Word Problems), contendo mais de 38000 problemas matemáticos tanto textuais quanto tabulares. As respostas são apresentadas tanto na forma de texto como questões de múltipla escolha. Na fase de avaliação, o novo método atingiu acurácia de 68%, sendo 5% acima da linha de base e se tornando o novo estado da arte.

Iniciativas como essa devem ajudar os modelos de linguagem a aumentar ainda mais suas capacidades já impressionantes. Alguns exemplos de funcionamento e mais detalhes sobre o PromptPG estão disponíveis na página do projeto. O código também está disponível no GitHub, sendo possível reproduzir os experimentos de treinamento do modelo e executar o script em modo de inferência.