- Este tópico contém 6 respostas, 2 vozes e foi atualizado pela última vez 4 anos, 1 mês atrás por
.
- Posts
O google colab está travando sem terminar o treinamento do modelo.
A primeira vez ele gerou o arquivo de backup, nas demais vezes não fez nada.
Algumas vezes a página fica fica interia preta, outras apenas não consigo mexer em nada nela.
Alguma ideia?
Olá Lúcio!
Qual iteração que você parou? E quanto tempo demora até começar a travar?
Sobre esse problema da página inteira preta, infelizmente nunca vi e pelo que pesquisei não teria uma causa específica, se for erro no Colab ele sempre vai exibir alguma mensagem (ou ficar como “carregando…”) mas não é para ficar uma tela preta. Imagino que possa ser porque o Colab está usando muito da memória RAM e isso fez “travar” essa página do navegador (está usando o Chrome?)
Aliás, quando isso ocorre aparece mais alguma mensagem antes? Geralmente um aviso no meio da página
Comigo aconteceu parecido algumas vezes (tirando a parte da tela preta) quando minha memória RAM estava sendo muito utilizada, então experimentei fechar as outras coisas e as outras abas do navegador (tenho o costume de deixar várias abertas) e fazendo isso resolveu a princípio. Mas depois voltou (lá pela iteração 2500) pois tive que voltar a abrir outros programas, mas aí decidi interromper o treinamento e terminar uma outra hora.
No próximo teste só antes verifique o uso de sua memória ou CPU durante o treinamento, já que quanto mais tempo ficar rodando mais é para usar de memória. Por esse motivo eu recomendo também ficar limpando os outputs da célula de vez em quando, pois lembre que a cada segundo são adicionadas várias linhas de texto na página (referentes ao treinamento), então é esperado que depois de um tempo ela fique bem mais pesada por causa desse monte de conteúdo.
Bom dia.
A iteração na qual o travamento inicia é entre 3 e 5.
Isso demora cerca de 1 até 4 min.
Estou usando o chrome :), devorador de ram.
Estou fazendo um teste limpando os outputs seguidamente, está indo 🙂
Uma pergunta importante, você uso o colab hospedado ou conecta ele localmente?
Pergunto pela questão da memória que você citou.
Att Lúcio
Olá! Conseguiu prosseguir com o treinamento dessa forma?
Realmente é estranho ocorrer esse travamento em uma fase tão inicial do treinamento, nos meus testes ocorria depois de umas 1000 iterações pelo menos, justamente por conta daquele motivo que falei.
A propósito, esses travamentos tem ocorrido sempre quando atinge esse número de iterações ou isso ta variando?
Realmente o Chrome abusa no uso da RAM hehe, a minha sugestão seria fazer o teste com outro navegador só para ver se o problema pode ser isso mesmo. Ah e também experimente fechar todas as outras abas e programas que tem aberto (tipo o Pycharm que vi que estava aberto ali no print, dependendo do que está aberto ele utiliza muito da sua memória).
Quanto à pergunta do Colab que você fez, utilizo ele normalmente assim pelo navegador. Uma opção é usar o Jupyter Notebook em sua máquina local porém só se você possuir uma GPU da Nvidia à disposição, se não o tempo de treinamento vai ser MUITO maior.
Qualquer dúvida é só avisar 🙂
Bom dia.
Vou tentar usar o Edge e o Mozila sem mais softwares abertos…
Não consegui evoluir por causa do travamento do colab, mas retorno com feedbacks após os testes em outros navegadores.
- Você deve fazer login para responder a este tópico.