RAG

[Anderson Souza]

Olá.

Estou rodando localmente e uma das libs insiste em dar essa mensagem abaixo.

Já restartei o kernel, (notebook), fechei o vscode, tentei fazer atualizaçao da lib. Mas ainda não consegui rodar esse trecho.

Agradeço desde já.

————————————————————————— ImportError Traceback (most recent call last) Cell In[4], line 7 1 model_id = “meta-llama/Meta-Llama-3-8B-Instruct” 3 quantization_config = BitsAndBytesConfig( 4 load_in_4bit=True, bnb_4bit_use_double_quant=True, bnb_4bit_quant_type=”nf4″, bnb_4bit_compute_dtype=torch.bfloat16 5 ) —-> 7 model = AutoModelForCausalLM.from_pretrained(model_id, quantization_config=quantization_config) 8 tokenizer = AutoTokenizer.from_pretrained(model_id) 10 pipe = pipeline( 11 model=model, 12 tokenizer=tokenizer, (…) 18 return_full_text=False, 19 ) File ~/iaexpert/dominando llm/.venv/lib/python3.12/site-packages/transformers/models/auto/auto_factory.py:564, in _BaseAutoModelClass.from_pretrained(cls, pretrained_model_name_or_path, *model_args, **kwargs) 562 elif type(config) in cls._model_mapping.keys(): 563 model_class = _get_model_class(config, cls._model_mapping) –> 564 return model_class.from_pretrained( 565 pretrained_model_name_or_path, *model_args, config=config, **hub_kwargs, **kwargs 566 ) 567 raise ValueError( 568 f”Unrecognized configuration class {config.__class__} for this kind of AutoModel: {cls.__name__}.\n” 569 f”Model type should be one of {‘, ‘.join(c.__name__ for c in cls._model_mapping.keys())}.”…
76 ) 78 from ..integrations import validate_bnb_backend_availability 79 from ..utils import is_bitsandbytes_multi_backend_available ImportError: Using bitsandbytes 4-bit quantization requires the latest version of bitsandbytes: pip install -U bitsandbytes

[Gabriel Alves]

Olá Anderson!

Você tentou usar o comando pip install -U bitsandbytes e mesmo após reiniciar a execução não funcionou, correto?

Recomendo desinstalar e instalar a biblioteca, mas agora de outro modo usando esse comando:

python -m pip install bitsandbytes --prefer-binary --extra-index-url=https://jllllll.github.io/bitsandbytes-windows-webui

Qual versão do pytorch você está usando aliás? Instalou pelo mesmo comando recomendado em aula?

 

[Anderson Souza]

Olá.

Name: torch
Version: 2.3.1
Summary: Tensors and Dynamic neural networks in Python with strong GPU acceleration
Home-page: https://pytorch.org/
Author: PyTorch Team
Author-email: packages@pytorch.org
License: BSD-3
Location: /Users/andersonsouza/iaexpert/dominando llm2/.venv/lib/python3.12/site-packages
Requires: filelock, fsspec, jinja2, networkx, sympy, typing-extensions
Required-by: accelerate, sentence-transformers, torchaudio, torchvision

 

Se tiver a sequência de comandos específicas de instalação posso fazer. Criaria tudo do zero, pois realmente localmente dá erro.
Já no colab não dá erro quando executo o projeto que já está pronto.

Obrigado.

[Gabriel Alves]

Olá! Caso não tenha funcionado esse comando o que eu recomendo é usar o Ollama para rodar a LLM localmente. Aliás, creio que vai ser melhor fazer desse modo mesmo que funcionasse esse comando que te passei, já que você está usando localmente eu sugiro que carregue usando o módulo do Ollama no LangChain pois ele é mais otimizado e vai te causar menos problemas mais tarde.

Para fazer isso use o método ChatOllama(), que é mostrado bem certo na aula “Execução local com Ollama” dentro da seção “LLM com LangChain”.

 

[Autor]

Posts