Olá Gabrielli!
Que bom que está gostando do curso =)
Quanto à sua dúvida, com o Colab Pro você certamente terá acesso a melhores recursos de GPU e mais tempo de execução (e maior prioridade no uso de hardware), porém na minha opinião vale a pena apenas se você planeja usar para outras coisas além de LLMs. Eu já assinei o plano do Colab, mas se tratando de LLMs eu não recomendaria usar esse ou outros cloud providers, para esse tipo de tarefa eu sugiro dar uma olhada nas APIs pagas especializadas em LLMs, que acabam sendo uma opção muito mais eficiente e econômica. O motivo é que no Colab você está pagando pelo uso computacional em geral, enquanto os serviços focados em LLMs são mais otimizados nesse contexto, o que no final das contas dará um custo benefício melhor, pagando poucos centavos de dólar a cada milhão de tokens gerados (esse é o modo de precificação que esses serviços usam).
Isso é comentado mais a partir da aula “Outros serviços para modelos” (seção: LLM com LangChain), onde explicamos melhor as vantagens desses serviços. Se quiser continuar com os modelos open source, recomendo o Groq (https://groq.com), que é um ótimo serviço nesse contexto – e adianto que a execução é extremamente rápida, conseguindo superar a resposta de modelos proprietários. E já se está disposta a pagar pelo uso, também dê uma olhada nos valores das APIs de modelos proprietários como ChatGPT e Gemini (isso também é abordado nessas aulas, depois sugiro dar uma olhada com atenção, mas qualquer dúvida que surgir é só pergunta aqui).
Ah, outra opção interessante é a API do Hugging Face, que tem uma versão gratuita com limites mas que dependendo do seu uso (ou tamanho do modelo escolhido) pode ser mais que o suficiente. Assim como esses outros serviços acima, com ele você consegue rodar modelos no Colab apenas com a CPU, ou em qualquer máquina local que não tenha um hardware tão bom (e o bom é que o uso da CPU no Colab é ilimitado). O uso dessa API em máquina local é elaborado melhor nos últimos 2 projetos do curso.
Portanto, creio que só compense o Colab Pro ou similar se você prefere manter o processamento 100% “local” (sem usar APIs), o que pode ter vantagens adicionais no quesito privacidade, mas que na grande maioria dos casos não chega a ser necessário. Nesse caso te recomendo também testar o Sagemaker Studio Lab, que está oferecendo 4 horas diárias de GPU gratuita, então no final poderá ter bastante tempo se somar com as horas que o Colab disponibiliza após resetar a quota.