Home › Fóruns › Domine LLMs com LangChain › Execução em máquina local › Responder a: Execução em máquina local
14 de janeiro de 2025 às 18:27 #47181
Se me permitir completar a resposta do Gabriel e para outros alunos que possa ajudar.
No windows (principalmente) deve seguir a etapa a seguir
- Instalar o drive cuda compatível com a placa de vídeo, normalmente a 12.4 é compativel com todas e também será compátivel com o pytorch
- CUDA Toolkit 12.4 Update 1 Downloads | NVIDIA Developer
- Instalar o Pytorch com GPU ativada, o comando para instalar é esse:
pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu124
- Mais detalhes em: Start Locally | PyTorch
Depois de tudo testar para ver se deu certo.
Abrir um powershell ou prompt e digitar:
nvidia-smi
e depois digitar o códito python pra ver se ativou a GPU
import torch torch.cuda.is_available()