Na semana passada, a Meta anunciou o lançamento do Llama 3, a nova versão de seu LLM. O modelo está sendo lançado em versões com 8 bilhões e 70 bilhões de parâmetros, na forma básica e ajustada por instruções (instruction-tuned).
Ambos os modelos são pré-treinados em um enorme conjunto de dados que ultrapassa 15 trilhões de tokens, incorporando uma quantidade significativa de dados de alta qualidade em idiomas diferentes do inglês, abrangendo mais de 30 idiomas. Essa proficiência multilíngue fortalece a capacidade do Llama 3 de entender e responder a uma gama mais ampla de consultas e tarefas do usuário. Em comparação com seus principais concorrentes, os modelos da família Gemma e Mistral, o Llama 3 representa o novo estado-da-arte para algumas das principais categorias de avaliação.
Os avanços arquitetônicos do Llama 3 contribuem para sua eficiência e eficácia. O modelo utiliza um tokenizador de vocabulário de 128.000 tokens e incorpora atenção agrupada de consulta (GQA) para otimizar a inferência.
Além do modelo central em si, a Meta está comprometida com o desenvolvimento responsável de IA. Junto com o Llama 3, a Meta lançou novas ferramentas de confiança e segurança, como Llama Guard 2, Code Shield e CyberSec Eval 2. Essas ferramentas capacitam os desenvolvedores a implementar medidas de segurança robustas em seus aplicativos construídos no Llama 3, mitigando riscos potenciais e garantindo o uso ético do LLM.
Sendo um dos principais modelos open-source, todas as versões podem ser baixadas através da própria Meta, ou através de sua integração com o Hugging Face, e a Meta ainda promete disponibilidade nos principais serviços de consumo de LLMs em breve. Além disso, o Llama 3 já está disponível no Meta AI, o assistente online da Meta. Entretanto, a ferramenta ainda não está disponível no Brasil.
