Modelo da Alibaba vence humanos em desafio de compreensão de texto

Chatbots têm estado cada vez mais presentes no mundo online. Sua proposta é responder perguntas feitas por usuários com velocidade e precisão. Chatbots eficientes são bem-vindos tanto pelas empresas, pois otimizam um processo que pode ser muito oneroso em termos de recursos dada a imensidão de informação que se deve navegar para encontrar a resposta adequada, e pelos usuários, que encontram a solução adequada e rápida para suas dúvidas. A disseminação dos chatbots se deve aos recentes avanços nas tecnologias de inteligência artificial, principalmente no ramo do processamento de linguagem natural (NLP, natural language processing). Essas técnicas permitem que máquinas “entendam” as complicadas regras que regem a linguagem, as quais são virtualmente impossíveis de modelar por métodos matemáticos clássicos, e assim sejam capazes de trocar informações de forma similar aos humanos.

Como o desenvolvimento da área de NLP ainda é recente e está em plena expansão, novas quebras de barreiras são anunciadas constantemente. É o caso da Alibaba, a empresa gigante chinesa de comércio online, que em junho revelou que pesquisadores do seu programa global de pesquisa, a Academia DAMO, desenvolveram um algoritmo de inteligência artificial que performou melhor que humanos num teste de compreensão de leitura. O algoritmo usou o banco de dados MS Marco (Microsoft Machine Reading Comprehension), uma ampla coleção contendo mais de 1 milhão de pesquisas de usuários do Bing, cerca de 182 mil respostas expressas em linguagem natural e mais de 3 milhões de documentos completos disponíveis online. Esse é considerado um dos mais testes mais desafiadores para compreensão de leitura – tanto que o desempenho humano, que serve como benchmark (resultado base de comparação) do teste, é de apenas 0,539 numa escala de 0 a 1.

O desafio da Microsoft é aberto para qualquer um participar, possuindo atualmente submissões de universidades, institutos de pesquisa e braços de pesquisa de empresas como Baidu, Samsung e Facebook. Os modelos desenvolvidos por interessados devem ser capazes de produzir respostas para perguntas reais submetidas através do Bing, que englobam desde questionamentos simples como “quantos carboidratos tem uma banana?”, até outras que exigem respostas mais elaboradas, como “o que é uma corporação?” A enorme extensão do banco de dados da Microsoft ajuda a treinar sistemas na tarefa de lidar melhor com as nuances e complexidades das perguntas feitas por pessoas em situações normais, inclusive algumas que não têm resposta óbvia ou que podem ter mais de uma resposta.

O grupo da Academia DAMO baseou seu trabalho atual num modelo apresentado por eles mesmos em 2018, denominado de modelo de cascata profunda. Nesse trabalho anterior, eles tentaram otimizar duas métricas de desempenho de sistemas automáticos de pergunta-e-resposta (QnA, question and answer), a eficácia (relacionada ao tempo de processamento) e a eficiência (relacionada à precisão). Sua inovação foi propor que primeiro documentos e parágrafos irrelevantes fossem removidos usando funções simples, para então os textos restantes serem submetidos a etapas de extração de documento, de parágrafo e de sentença, como se o algoritmo estivesse focando cada vez mais na parte do texto de maior relevância à pergunta feita. As duas tarefas foram programas para funcionarem em paralelo. O algoritmo apresentado agora inclui a representação linguística chamada BERT, publicada em maio desse ano por uma equipe do Google. Nessa representação, ao invés de o algoritmo “ler o texto” em uma direção (direita para esquerda ou vice-versa), ele lê o texto todo de uma vez, o que permite atingir uma compreensão mais ampla do contexto. Imagine como nós mesmos entendemos o contexto durante a leitura, construído sequencialmente conforme vamos lendo cada palavra. Agora compare essa construção com o contexto final, depois que já conhecemos a frase inteira. É mais ou menos o que faz o BERT, ele “lê frases” e não palavras.

A Alibaba diz que já está usando a tecnologia no seu chatbot, o Alime. No dia 11 de novembro de 2018, quando a empresa promoveu um festival de vendas, o Alime atendeu 98% das solicitações feitas nas plataformas, chegando a servir até 83.000 usuários por minuto. Além de se beneficiar do modelo desenvolvido, a empresa também pretende disponibilizá-lo como serviço na nuvem para pequenas empresas.