Os grande modelos de linguagem (LLMs) já demonstraram ter várias habilidades relacionadas ao processamento de linguagem natural, mas um aspecto da produção de texto permanecia sem avaliação até agora: a capacidade criativa. Para resolver esta pendência, pesquisadores da Universidade de Arkansas, nos Estados Unidos, realizaram um estudo para comparar o raciocínio criativo do GPT-4 com humanos.
O estudo, publicado no início do mês, relata que, junto ao modelo da OpenAI, 151 participantes humanos foram avaliados em três testes que medem o chamado pensamento divergente. Este tipo de pensamento demonstra a habilidade de criar soluções originais para perguntas abertas que não têm apenas uma solução possível. Por isso, ele é utilizado como indicador de pensamento criativo. Os testes do estudo eram a tarefa de uso alternativo, que propõe encontrar usos criativos para objetos cotidianos; a tarefa de consequência, onde o participante deve imaginar consequências para situações hipotéticas; e a tarefa de associações divergentes, que envolve criar 10 substantivos que sejam semanticamente distantes. A pontuação leva em conta o número e o comprimento das respostas, e a diferença semântica entre as palavras.
Os pesquisadores observaram que, no geral, o GPT-4 foi mais criativo e elaborado que os participantes humanos nas três tarefas avaliadas. Esta é uma descoberta surpreendente, já que muitos acreditam que a criatividade é uma característica intrinsecamente humana.
Os autores são cautelosos quanto às conclusões do estudo. Eles mencionam que, por mais que as medidas utilizadas permitam avaliar alguns aspectos do potencial criativo, humanos possuem outras características associados à criatividade, como o envolvimento e as conquistas em atividades dessa natureza. Além disso, os LLMs também são limitados já que não desempenham atividades criativas por conta própria, dependendo da assistência de um usuário humano. Finalmente, as respostas geradas pelo GPT-4 não foram avaliadas quanto a serem apropriadas, enquanto que os participantes humanos comentaram terem se sentido limitados para que suas respostas fossem baseadas no mundo real.
Mesmo assim, o estudo confirma uma vez mais que os LLMs estão evoluindo em ritmo acelerado, ultrapassando a performance humana de formas que elas não podiam fazer antes.
