Olá Paulo!
Qual erro está dando para você? Se estiver carregando o modelo pelo Hugging Face Hub (método “HuggingFaceEndpoint”) pode ser instabilidade no servidor, ou algum problema ao carregar com sua key.
Uma dica que temos recomendado recentemente é implementar a LLM com o serviço da Groq, que disponibiliza o Llama 4 e outros modelos modernos via API de forma gratuita também. A única linha que precisa alterar é a que chama o método da LLM. Você deve então substituir esse método do Hugging Face por: llm = ChatGroq(model=”llama-3.3-70b-versatile”, temperature=0.7, max_tokens=None, timeout=None, max_retries=2)
e antes de executar essa linha acima você precisa:
* instalar o langchain-groq, usando o comando !pip install -q langchain-groq
* fazer a importação com from langchain_groq import ChatGroq
* adicionar a Key do Groq às variáveis de ambiente, com esse comando os.environ[“GROQ_API_KEY”] = getpass.getpass()
e aí no campo que aparecer você cola a key
Para criar API do Groq
1) Acesse: https://groq.com -> clique em DEV CONSOLE (menu do topo)
2) Crie sua conta. Você pode criar/logar com sua conta Google, para ser mais prático
3) Após o login, no menu lateral acesse API Keys https://console.groq.com/playground
4) E clique no botão ‘Create API Key’
Aqui você pode escolher qualquer nome.
Após criar, clique no botão Copy para copiar a chave e salve em um local seguro
Modelos disponíveis pelo Groq https://console.groq.com/docs/rate-limits (ver os gratuitos – dentro da aba free tier)
Quanto ao código com Streamlit, deixei aqui ao final do Colab https://colab.research.google.com/drive/1jul2su9c7QGJSzpe9D0T3kZB8FxWeFfg#scrollTo=g9yi7myGxHXW