A xAI, nova empresa de Elon Musk com foco em inteligência artificial, acaba de anunciar o Grok, sua LLM proprietária. A empresa apresenta a ferramenta como um companheiro de IA versátil, projetado para atender a indivíduos de diversas origens e perspectivas políticas. Alguns diferenciais são que o sistema foi treinado tendo como base a série de livros O Guia do Mochileiro das Galáxias, o que lhe confere uma personalidade sarcástica, além de ter acesso a conhecimento do mundo em tempo real graças a sua comunicação com o X.
O Grok, impulsionado pelo avançado motor Grok-1, passou por um desenvolvimento substancial nos últimos quatro meses. A jornada começou com o protótipo Grok-0, um modelo com 33 bilhões de parâmetros que se aproximava das capacidades do LLaMA 2, mas utilizava apenas metade dos recursos de treinamento. A evolução culminou no Grok-1, um modelo de linguagem de ponta treinado em apenas impressionantes 2 meses, que alcançou resultados notáveis, incluindo 63,2% na tarefa de codificação HumanEval e 73% no MMLU, um benchmark multidisciplinar, ultrapassando modelos similares como o ChatGPT-3.5 e o Inflection-1. A equipe desenvolvedora estabeleceu uma infraestrutura robusta usando Kubernetes, Rust e JAX.
Um teste da vida real envolveu a avaliação manual do Grok-1 frente a outras LLMs de ponta, como Claude-2 e os modelos da família GPT, nas finais nacionais de matemática da Hungria em 2023. O Grok alcançou nota C (59%), ficando atrás apenas do GPT-4, que foi treinado com uma quantidade muito maior de dados, destacando suas capacidades em um cenário de avaliação inesperado.
Olhando para o futuro, a xAI está se preparando para o próximo salto nas capacidades do modelo, exigindo a coordenação de execuções de treinamento em dezenas de milhares de aceleradores, execução de pipelines de dados em escala de internet e aprimoramento das capacidades do Grok.
No campo da pesquisa, a xAI reconhece a importância de abordar as limitações dos sistemas atuais. Direções promissoras de pesquisa incluem supervisão escalável com assistência de ferramentas, integração com verificação formal para segurança e confiabilidade, compreensão e recuperação de longo contexto, robustez adversarial e o desenvolvimento de capacidades multimodais para o Grok.
Para oferecer aos usuários uma experiência antecipada, a xAI está proporcionando a um número limitado de usuários nos Estados Unidos acesso ao protótipo Grok. Este programa de acesso antecipado convida os usuários a experimentar o Grok e fornecer feedback, moldando suas capacidades antes de um lançamento mais amplo.
