Sobre o Projeto 1

Home Fóruns Domine LLMs com LangChain Sobre o Projeto 1

Visualizando 2 posts - 1 até 2 (de 2 do total)
  • Autor
    Posts
  • #51089

    O projeto 1 as partes finais do codigo não executam e dar erro ao selecionar o modelo HF_HUB, precisava atualizar os pacotes, teria como disponibilizar esse código com Streamlit usando VSCode como o projeto 2 e 3.

    #51194
    Gabriel Alves
    Moderador

      Olá Paulo!

      Qual erro está dando para você? Se estiver carregando o modelo pelo Hugging Face Hub (método “HuggingFaceEndpoint”) pode ser instabilidade no servidor, ou algum problema ao carregar com sua key.

      Uma dica que temos recomendado recentemente é implementar a LLM com o serviço da Groq, que disponibiliza o Llama 4 e outros modelos modernos via API de forma gratuita também. A única linha que precisa alterar é a que chama o método da LLM. Você deve então substituir esse método do Hugging Face por: llm = ChatGroq(model=”llama-3.3-70b-versatile”, temperature=0.7, max_tokens=None, timeout=None, max_retries=2)

      e antes de executar essa linha acima você precisa:

      * instalar o langchain-groq, usando o comando !pip install -q langchain-groq

      * fazer a importação com from langchain_groq import ChatGroq

      * adicionar a Key do Groq às variáveis de ambiente, com esse comando os.environ[“GROQ_API_KEY”] = getpass.getpass()

      e aí no campo que aparecer você cola a key

       

      Para criar API do Groq​

      1) Acesse: https://groq.com ​ -> clique em DEV CONSOLE (menu do topo)

      2) Crie sua conta. Você pode criar/logar com sua conta Google, para ser mais prático​

      3) Após o login, no menu lateral acesse API Keys https://console.groq.com/playground

      4) E clique no botão ‘Create API Key​’

      Aqui você pode escolher qualquer nome.​

      Após criar, clique no botão Copy para copiar a chave e salve em um local seguro

       

      Modelos disponíveis pelo Groq https://console.groq.com/docs/rate-limits (ver os gratuitos – dentro da aba free tier)

       

      Quanto ao código com Streamlit, deixei aqui ao final do Colab https://colab.research.google.com/drive/1jul2su9c7QGJSzpe9D0T3kZB8FxWeFfg#scrollTo=g9yi7myGxHXW

    Visualizando 2 posts - 1 até 2 (de 2 do total)
    • Você deve fazer login para responder a este tópico.