- Este tópico contém 4 respostas, 4 vozes e foi atualizado pela última vez 2 meses atrás por
.
- Posts
Para a execução em máquina local é necessário ter uma boa configuração de hardware?
Se sim, tem alguma configuração mínima recomendada?Possuo um notebook (i7 11ª Geração 16 Ram com uma GPU interna Nvidia Geforce MX450) e quando executo o código
device = “cuda:0” if torch.cuda.is_available() else “cpu”
o device retorna cpu.
Portanto, não consigo executar os códigos localmente.
Como fazer para utilizar a GPU do notebook?
Será para rodar em GPU, a Placa tem que ser uma Geforce RX…?
Neste caso, uma EGPU pode ser uma solução?
Olá!
Primeiramente, vocês podem também executar pelo Colab usando apenas CPU ou localmente sem GPU, basta usar o Hugging Face Hub conforme explicado na aula “Outros serviços para modelos”. Isso te permite rodar modelos LLM de forma prática, mesmo sem hardware adequado. Outra alternativa seria se conectar via API usando LLMs pagas, como a Open AI (mas pelo Hugging Face Hub você pode fazer isso gratuitamente).
Já se quiser usar com a GPU do seu notebook é necessário que a biblioteca CUDA esteja corretamente instalada e configurada. A GeForce MX450 é compatível com CUDA, mas você precisa garantir que os drivers da NVIDIA e a versão correta do CUDA Toolkit estejam instalados.
Primeiro, verifique se o PyTorch está compilado com suporte para CUDA. Você pode instalar o PyTorch com a versão CUDA compatível através do comando de instalação presente no site oficial do PyTorch (https://pytorch.org/) – abaixo de “Install PyTorch”.
Se me permitir completar a resposta do Gabriel e para outros alunos que possa ajudar.
No windows (principalmente) deve seguir a etapa a seguir
- Instalar o drive cuda compatível com a placa de vídeo, normalmente a 12.4 é compativel com todas e também será compátivel com o pytorch
- CUDA Toolkit 12.4 Update 1 Downloads | NVIDIA Developer
- Instalar o Pytorch com GPU ativada, o comando para instalar é esse:
pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu124
- Mais detalhes em: Start Locally | PyTorch
Depois de tudo testar para ver se deu certo.
Abrir um powershell ou prompt e digitar:
nvidia-smi
e depois digitar o códito python pra ver se ativou a GPU
import torch torch.cuda.is_available()
- Você deve fazer login para responder a este tópico.