Sobre o Projeto 1

[Paulo Vinicius Meireles]

O projeto 1 as partes finais do codigo não executam e dar erro ao selecionar o modelo HF_HUB, precisava atualizar os pacotes, teria como disponibilizar esse código com Streamlit usando VSCode como o projeto 2 e 3.

[Gabriel Alves]

Olá Paulo!

Qual erro está dando para você? Se estiver carregando o modelo pelo Hugging Face Hub (método “HuggingFaceEndpoint”) pode ser instabilidade no servidor, ou algum problema ao carregar com sua key.

Uma dica que temos recomendado recentemente é implementar a LLM com o serviço da Groq, que disponibiliza o Llama 4 e outros modelos modernos via API de forma gratuita também. A única linha que precisa alterar é a que chama o método da LLM. Você deve então substituir esse método do Hugging Face por: llm = ChatGroq(model=”llama-3.3-70b-versatile”, temperature=0.7, max_tokens=None, timeout=None, max_retries=2)

e antes de executar essa linha acima você precisa:

* instalar o langchain-groq, usando o comando !pip install -q langchain-groq

* fazer a importação com from langchain_groq import ChatGroq

* adicionar a Key do Groq às variáveis de ambiente, com esse comando os.environ[“GROQ_API_KEY”] = getpass.getpass()

e aí no campo que aparecer você cola a key

 

Para criar API do Groq​

1) Acesse: https://groq.com ​ -> clique em DEV CONSOLE (menu do topo)

2) Crie sua conta. Você pode criar/logar com sua conta Google, para ser mais prático​

3) Após o login, no menu lateral acesse API Keys https://console.groq.com/playground

4) E clique no botão ‘Create API Key​’

Aqui você pode escolher qualquer nome.​

Após criar, clique no botão Copy para copiar a chave e salve em um local seguro

 

Modelos disponíveis pelo Groq https://console.groq.com/docs/rate-limits (ver os gratuitos – dentro da aba free tier)

 

Quanto ao código com Streamlit, deixei aqui ao final do Colab https://colab.research.google.com/drive/1jul2su9c7QGJSzpe9D0T3kZB8FxWeFfg#scrollTo=g9yi7myGxHXW

[Autor]

Posts