Algumas áreas da inteligência artificial, sobretudo a de processamento de linguagem natural, têm visto uma correlação alta entre o desempenho de seus modelos e seu tamanho. Um exemplo é o GPT-3, modelo da empresa OpenAI lançado ano passado, que possui cerca de 500 vezes mais conexões entre seus neurônios do que o modelo mais comentado antes dele, o BERT do Google. Mas se for pra comparar com o cérebro humano, o GPT-3 ainda tem apenas 0,1% do total de conexões. A tendência é que qualquer grande salto de qualidade agora venha acompanhado de arquiteturas cada vez maiores, que vão exigir mais recursos computacionais para o seu treinamento.
Desde que as GPUs encontraram uma função importante no mundo da inteligência artificial, ajudando a acelerar o treinamento de modelos pela realização de computação em paralelo, a NVIDIA, uma das empresas referência na produção deste tipo de processador, tem dedicado boa parte de seu investimento para este segmento específico, buscando tanto fornecer novas arquiteturas de hardware como serviços de computação em nuvem capazes de atender às demandas deste mercado.
No evento NVIDIA GTC 2021, que se encerra hoje e é dedicado aos desenvolvedores, cientistas e empresas interessadas em inteligência artificial, a empresa anunciou que está desenvolvendo uma plataforma robusta o suficiente para acomodar o treinamento dos futuros modelos de IA. O sistema vai usar uma nova arquitetura mista de CPUs e GPUs, que foi batizada de Grace, para fornecer o suporte técnico que hoje inexiste necessário a esta nova dimensão nascente.
O novo processador teve poucos detalhes revelados. Ele deve ter quatro CPUs ligadas através de uma conexão ultrarrápida a uma GPU de nova geração, capaz de transmitir dados a 900 GB/s, 14x mais rápido que as arquiteturas atuais. Além da maior taxa de trânsito de informação entre os processadores, esta banda larga também permite um gerenciamento otimizado e unificado das informações em memória. As CPUs também vão se comunicar entre si a 600 GB/s, o dobro da velocidade atual. Em paralelo, a empresa está trabalhando em uma nova tecnologia de memória para data centers chamada de LDDR5X, que também terá o dobro da banda atual, recursos adicionais de proteção, e é 10x mais eficiente energeticamente que a memória DDR.
Em uma aplicação da nova tecnologia, a NVIDIA fechou uma parceria com o Centro de Supercomputação Nacional da Suíça (CSCS) e a HP para construir o supercomputador especializado em IA mais poderoso do mundo, batizado de ALPS. Ele vai substituir o Piz Daint, supercomputador atualmente alocado no centro, e servir à comunidade de pesquisadores em áreas diversas como clima, ciência de materiais, astrofísica, ciências biológicas, dinâmica molecular, química quântica e física de partículas, assim como economia e ciências sociais. Graças aos seus recursos inéditos, o ALPS será capaz de treinar um modelo como o GPT-3 em apenas 2 dias.
A NVIDIA anunciou ainda que o ALPS, os chips Grace e a nova memória devem estrear no mercado em 2023.
