Gemini 1.5: nova versão da LLM do Google com maior janela de contexto

Poucos meses depois de lançar a primeira versão do Gemini, sua nova LLM, o Google anunciou no último dia 15 uma nova atualização desta família, o Gemini 1.5. Em comparação com seu antecessor, o Gemini 1.5 promete entregar uma melhoria dramática de performance, graças a um contínuo processo de pesquisa e inovação.

O primeiro modelo desta nova versão, que está sendo lançado em fase de testes, é o Gemini 1.5 Pro, um modelo multimodal de tamanho médio com desempenho similar ao do Gemini 1.0 Ultra, o maior modelo já publicado pela empresa. Além do alto desempenho com performance melhorada, o Gemini 1.5 Pro apresenta um novo atributo experimental voltado ao entendimento de contextos longos. Enquanto que o Gemini 1.0 podia processar até 32 mil tokens por vez, a janela de contexto padrão do novo modelo é de 128 mil tokens, podendo chegar a 1 milhão, o que corresponde a 1 hora de vídeo, 11 horas de áudio, 30 mil linhas de código ou 700 mil palavras. Esta é a maior janela de contexto já reportada pelos grandes players da área. Contextos maiores permitem que um modelo processe uma quantidade maior de informação por iteração, o que torna sua saída mais consistente, relevante e útil.

As inovações apresentadas pelo Gemini 1.5 se devem em grande parte à arquitetura chamada de Mix of Experts (MoE). Ao contrário do transformer tradicional que funciona como uma única rede neural grande, os modelos do tipo MoE são divididos em redes neurais “especialistas” menores. Dependendo do tipo de dado alimentado, esses modelos aprendem a ativar seletivamente apenas as vias especialistas mais relevantes, o que tem um impacto considerável na eficiência do modelo. Desta forma, o Gemini 1.5 aprende a desempenhar tarefas complexas com mais qualidade e mais rápido, sendo ao mesmo tempo mais eficiente para treinar e usar. O Google comenta que esta tecnologia tem permitido entregar versões mais avançadas do Gemini com uma velocidade inédita.

Por enquanto, o Gemini 1.5 Pro está sendo lançado para desenvolvedores e clientes corporativos, que podem acessar o modelo através dos serviços AI Studio e Vertex AI.