teste1.py não funciona mais

Olá Eduardo!

Parece ser uma limitação recente nos servidores do Hugging Face, que especificamente está com problemas para rodar os modelos Llama 3 publicados no repositório, mesmo o modelo oficial publicado pela Meta. Ainda não houve uma solução oficial pela equipe responsável pela biblioteca, então recomendo não usar por enquanto o Hugging Face Hub para o Llama 3. Nós estamos terminando de criar uma aula de aviso para colocar no curso, já que está causando essa confusão.

Para usar o modelo Phi 3 por exemplo, faça assim:

from langchain_huggingface import HuggingFaceEndpoint

# Exemplo com Hugging Face
llm = HuggingFaceEndpoint(
    repo_id="microsoft/Phi-3-mini-4k-instruct",
    temperature = 0.1,
    return_full_text = False,
    max_new_tokens = 1024,
    task="text-generation"
)

system_prompt = "Você é um assistente prestativo e está respondendo perguntas gerais."
user_prompt = "{input}"

token_s, token_e = "<|system|>", "<|end|><|assistant|>"

prompt = ChatPromptTemplate.from_messages([
    ("system", token_s + system_prompt),
    ("user", user_prompt + token_e)
])

chain = prompt | llm

input = "Explique para mim em até 1 parágrafo o conceito de redes neurais, de forma clara e objetiva"

res = chain.invoke({"input": input})
print(res)

Veja aqui o arquivo teste1.py atualizado, acabei de testar e está funcionando.

Por enquanto, estamos recomendando implementar o Llama (e outros modelos ainda mais modernos) com o serviço da Groq. Esse provedor disponibiliza o Llama 4 e outros modelos modernos via API de forma gratuita também, inclusive o plano grátis tem uma quota ainda mais generosa. A única linha que precisa alterar é a que chama o método da LLM. Você deve então substituir esse método do Hugging Face por:

llm = ChatGroq(model="llama3-70b-8192", temperature=0.7, max_tokens=None, timeout=None, max_retries=2)

e antes de executar essa linha acima você precisa:

* instalar o langchain-groq, usando o comando !pip install -q langchain-groq

* fazer a importação com from langchain_groq import ChatGroq

* adicionar a Key do Groq às variáveis de ambiente, com  os.environ[“GROQ_API_KEY”] = getpass.getpass()

(ou, adicionando GROQ_API_KEY=SUA_CHAVE_AQUI   – dentro do .env)

Para criar API do Groq​

1) Acesse: https://groq.com ​ -> clique em DEV CONSOLE (menu do topo)

2) Crie sua conta. Você pode criar/logar com sua conta Google, para ser mais prático​

3) Após o login, no menu lateral acesse API Keys https://console.groq.com/playground

4) E clique no botão ‘Create API Key​’

Aqui você pode escolher qualquer nome.​

Após criar, clique no botão Copy para copiar a chave e salve em um local seguro

Modelos disponíveis pelo Groq https://console.groq.com/docs/rate-limits (ver os gratuitos – dentro da aba free tier)