IA e realidade virtual aliados para aperfeiçoar o aprendizado de chinês

É comum ouvir de pessoas que foram morar em outro país que a melhor forma de aprender um novo idioma é se inserindo no ambiente onde ele é naturalmente falado, já que as situações cotidianas nos obrigam a aprender a se comunicar, resultando num domínio de caráter prático, que é o que nós geralmente buscamos quando estudamos outras línguas. Entretanto, essa experiência e o tempo que ela demanda não estão à disposição de todos. Por isso, é inovadora a iniciativa do Instituto Politécnico Rensselaer, uma universidade baseada na cidade de Troy, no estado de Nova York, que em colaboração com o IBM Research, criou o Laboratório Cognitivo e de Sistemas Imersivos, que acaba de inaugurar um centro de aprendizado de chinês baseado em inteligência artificial e realidade virtual.

A ideia é que os alunos sejam transportados para as ruas de Beijing ou para um restaurante chinês através de um ambiente virtual em 360 graus. Então, eles devem conversar com vendedores de rua ou garçons virtuais com as características de um falante nativo. O ambiente é equipado com diferentes capacidades disponibilizadas por inteligência artificial para que a interação possa ser em tempo real. Vários tipos de sensores são usados para a adaptação dinâmica frente às ações dos alunos. Os alunos usam microfones para que sua parte do diálogo seja prontamente analisada por algoritmos de reconhecimento de fala. Câmeras acompanham seus movimentos para entender para onde os alunos estão apontando (quando perguntam o nome de um objeto, por exemplo) ou com quem estão tentando interagir. Tecnologias de geração de narrativa também são usadas para que os agentes virtuais possam dar respostas mais sofisticadas, usando conhecimento da Wikipedia, quando são indagados sobre tópicos mais abrangentes.

An image of students pointing at objects in the environment.
O ambiente virtual disponibilizado para que os alunos possam interagir com agentes dotados de inteligência artificial.
Foto do Instituto Politécnico Rensselaer.

O projeto foi inspirado no trabalho de dois professores da universidade que usavam técnicas de teatro para engajar seus alunos no aprendizado de chinês. Ao mesmo tempo, eles viram trabalhos na comunidade científica documentando que o uso de ambientes de aprendizado interativo era positivo na compreensão e retenção de uma nova língua. Eles estão desenvolveram a parceria com a IBM para tentar reproduzir os benefícios em seus próprios alunos. Para o desenvolvimento do projeto, os pesquisadores usaram muitos recursos tecnológicos que já estavam disponíveis comercialmente, como algoritmos de reconhecimento de fala ou de visão computacional. Ainda assim, alguns recursos tiveram que ser desenvolvidos especificamente para atender sua demanda. Por exemplo, as palavras chinesas podem ter significados diferentes dependendo da tonalidade utilizada, e as diferenças tonais podem ser bem sutis. Assim, era necessário um algoritmo que pudesse avaliar se os alunos estavam pronunciando as palavras corretamente, e em seguida sugerir a correção. Isso tudo dentro do ambiente, e do contexto, virtual, aproximando o máximo possível a experiência com aquela que seria encontrada num encontro casual na China de verdade.

Por enquanto, o projeto segue em caráter experimental, e está sendo pela primeira vez posto em prática em um curso de chinês de 6 semanas. Mas os professores comentam que, num estudo piloto realizado no final de 2017, já puderam observar qualitativamente um maior rendimento e engajamento dos alunos. Só por observar as atividades ao seu redor, os alunos espontaneamente estenderam seus exercícios para além do que lhes foi solicitado, como por exemplo realizar o procedimento de pagar a conta em chinês após fazer um pedido no restaurante. O aprendizado acaba sendo mais intuitivo, a apreensão de novas palavras mais automática, e o caráter do domínio da língua mais prático.

O principal objetivo dos pesquisadores é entender como ambientes imersivos afetam o aprendizado, mas é fácil imaginar essa iniciativa se espalhando para novos idiomas e até outras modalidades de conhecimento.