Aqueles que já testaram o uso dos grandes modelos de linguagem com instruções longas e complexas sabe que este é um de seus pontos fracos. Mesmo as versões mais robustas têm dificuldade em entender comandos muito longos, com muitos detalhes. Os desenvolvedores desses modelos buscam estratégias para mitigar essas limitações. É o caso do Llama-2-7B-32K, da Meta, que aumentou o tamanho do contexto de 4 para 32 mil tokens em relação à sua versão anterior.
Mas a Meta continuou trabalhando em novas iterações desta solução para torná-la ainda mais atraente como ferramenta de linguagem natural disponível ao público geral. Assim, no mês passado, foi publicado o Llama-2-7B-32K-Instruct, uma versão do modelo anterior capaz de trabalhar com instruções, como já fazem o ChatGPT e o Bard, por exemplo.
A versão Instruct consegue compreender janelas de contexto longo graças a quatro etapas de desenvolvimento. Na primeira, chamada de destilação, três grandes datasets são utilizados para gerar os dados de treinamento, fazendo uso de outro modelo da família Llama, o Llama-2-70B-Chat. A segunda corresponde ao treinamento, que compreende um processo de fine-tuning do Llama-2-7B-32K. Na terceira o modelo é testado em diversas tarefas, como a criação de sumários e a resposta para questões envolvendo múltiplos documentos. Finalmente, na quarta etapa, ocorre o deploy. Os autores estressam que o desenvolvimento foi muito facilitado com o uso da Together API, que permitiu criar o novo modelo com “menos de 200 linhas de código em Python”.
Quando comparado com outros modelos, tanto da família Llama quanto os modelos GPT, o Llama-2-7B-32K-Instruct mostrou desempenho superior na execução de tarefas com instruções longas, mantendo desempenho comparável para instruções mais simples.
Como tem sido comum para as LLMs desenvolvidas pela Meta, esta versão do Llama pode ser consultada e testada em formato open-source.
