Responder a: Erro quantization_config

Home Fóruns Domine LLMs com LangChain Erro quantization_config Responder a: Erro quantization_config

#48794
Gabriel Alves
Moderador

    Olá Celso! Pode ser um bug da biblioteca no Colab, testei agora o código com a versão mais recente e funcionou corretamente. Testei o mesmo código da seção (link aqui)

    Tente desinstalar o bitsandbytes e instalar novamente de outro modo, segue o comando abaixo:

    !pip uninstall bitsandbytes
    !python -m pip install bitsandbytes --prefer-binary --extra-index-url=https://jllllll.github.io/bitsandbytes-windows-webui

    E reinicie a sessão do Colab logo após executar o comando (provavelmente ele vai pedir automaticamente, daí basta clicar no botão que aparecer na tela para reiniciar)

    Caso não funcione, outro comando que costuma resolver é esse:

    !pip install bitsandbytes-cuda110 bitsandbytes

    (execute bem no começo do Colab e reinicie a sessão antes)

    Teste e me avise se não funcionar