Olá Eduardo!
Parece ser uma limitação recente nos servidores do Hugging Face, que especificamente está com problemas para rodar os modelos Llama 3 publicados no repositório, mesmo o modelo oficial publicado pela Meta. Ainda não houve uma solução oficial pela equipe responsável pela biblioteca, então recomendo não usar por enquanto o Hugging Face Hub para o Llama 3. Nós estamos terminando de criar uma aula de aviso para colocar no curso, já que está causando essa confusão.
Para usar o modelo Phi 3 por exemplo, faça assim:
from langchain_huggingface import HuggingFaceEndpoint
# Exemplo com Hugging Face
llm = HuggingFaceEndpoint(
repo_id="microsoft/Phi-3-mini-4k-instruct",
temperature = 0.1,
return_full_text = False,
max_new_tokens = 1024,
task="text-generation"
)
system_prompt = "Você é um assistente prestativo e está respondendo perguntas gerais."
user_prompt = "{input}"
token_s, token_e = "<|system|>", "<|end|><|assistant|>"
prompt = ChatPromptTemplate.from_messages([
("system", token_s + system_prompt),
("user", user_prompt + token_e)
])
chain = prompt | llm
input = "Explique para mim em até 1 parágrafo o conceito de redes neurais, de forma clara e objetiva"
res = chain.invoke({"input": input})
print(res)
Veja aqui o arquivo teste1.py atualizado, acabei de testar e está funcionando.
Por enquanto, estamos recomendando implementar o Llama (e outros modelos ainda mais modernos) com o serviço da Groq. Esse provedor disponibiliza o Llama 4 e outros modelos modernos via API de forma gratuita também, inclusive o plano grátis tem uma quota ainda mais generosa. A única linha que precisa alterar é a que chama o método da LLM. Você deve então substituir esse método do Hugging Face por:
llm = ChatGroq(model="llama3-70b-8192", temperature=0.7, max_tokens=None, timeout=None, max_retries=2)
e antes de executar essa linha acima você precisa:
* instalar o langchain-groq, usando o comando !pip install -q langchain-groq
* fazer a importação com from langchain_groq import ChatGroq
* adicionar a Key do Groq às variáveis de ambiente, com os.environ[“GROQ_API_KEY”] = getpass.getpass()
(ou, adicionando GROQ_API_KEY=SUA_CHAVE_AQUI – dentro do .env)
Para criar API do Groq
1) Acesse: https://groq.com -> clique em DEV CONSOLE (menu do topo)
2) Crie sua conta. Você pode criar/logar com sua conta Google, para ser mais prático
3) Após o login, no menu lateral acesse API Keys https://console.groq.com/playground
4) E clique no botão ‘Create API Key’
Aqui você pode escolher qualquer nome.
Após criar, clique no botão Copy para copiar a chave e salve em um local seguro
Modelos disponíveis pelo Groq https://console.groq.com/docs/rate-limits (ver os gratuitos – dentro da aba free tier)