- Este tópico contém 2 respostas, 3 vozes e foi atualizado pela última vez 1 mês atrás por
.
- Posts
Para a execução em máquina local é necessário ter uma boa configuração de hardware?
Se sim, tem alguma configuração mínima recomendada?Possuo um notebook (i7 11ª Geração 16 Ram com uma GPU interna Nvidia Geforce MX450) e quando executo o código
device = “cuda:0” if torch.cuda.is_available() else “cpu”
o device retorna cpu.
Portanto, não consigo executar os códigos localmente.
Como fazer para utilizar a GPU do notebook?
Será para rodar em GPU, a Placa tem que ser uma Geforce RX…?
Neste caso, uma EGPU pode ser uma solução?
Olá!
Primeiramente, vocês podem também executar pelo Colab usando apenas CPU ou localmente sem GPU, basta usar o Hugging Face Hub conforme explicado na aula “Outros serviços para modelos”. Isso te permite rodar modelos LLM de forma prática, mesmo sem hardware adequado. Outra alternativa seria se conectar via API usando LLMs pagas, como a Open AI (mas pelo Hugging Face Hub você pode fazer isso gratuitamente).
Já se quiser usar com a GPU do seu notebook é necessário que a biblioteca CUDA esteja corretamente instalada e configurada. A GeForce MX450 é compatível com CUDA, mas você precisa garantir que os drivers da NVIDIA e a versão correta do CUDA Toolkit estejam instalados.
Primeiro, verifique se o PyTorch está compilado com suporte para CUDA. Você pode instalar o PyTorch com a versão CUDA compatível através do comando de instalação presente no site oficial do PyTorch (https://pytorch.org/) – abaixo de “Install PyTorch”.
- Você deve fazer login para responder a este tópico.