Colab Travando

Visualizando 7 posts - 1 até 7 (de 7 do total)
  • Autor
    Posts
  • #22197
    Lúcio
    Aluno

    O google colab está travando sem terminar o treinamento do modelo.

    A primeira vez ele gerou o arquivo de backup, nas demais vezes não fez nada.

    Algumas vezes a página fica fica interia preta, outras apenas não consigo mexer em nada nela.

    Alguma ideia?

    #22198
    Gabriel Alves
    Moderador

    Olá Lúcio!

    Qual iteração que você parou? E quanto tempo demora até começar a travar?

    Sobre esse problema da página inteira preta, infelizmente nunca vi e pelo que pesquisei não teria uma causa específica, se for erro no Colab ele sempre vai exibir alguma mensagem (ou ficar como “carregando…”) mas não é para ficar uma tela preta. Imagino que possa ser porque o Colab está usando muito da memória RAM e isso fez “travar” essa página do navegador (está usando o Chrome?)

    Aliás, quando isso ocorre aparece mais alguma mensagem antes? Geralmente um aviso no meio da página

    Comigo aconteceu parecido algumas vezes (tirando a parte da tela preta) quando minha memória RAM estava sendo muito utilizada, então experimentei fechar as outras coisas e as outras abas do navegador (tenho o costume de deixar várias abertas) e fazendo isso resolveu a princípio. Mas depois voltou (lá pela iteração 2500) pois tive que voltar a abrir outros programas, mas aí decidi interromper o treinamento e terminar uma outra hora.

    No próximo teste só antes verifique o uso de sua memória ou CPU durante o treinamento, já que quanto mais tempo ficar rodando mais é para usar de memória. Por esse motivo eu recomendo também ficar limpando os outputs da célula de vez em quando, pois lembre que a cada segundo são adicionadas várias linhas de texto na página (referentes ao treinamento), então é esperado que depois de um tempo ela fique bem mais pesada por causa desse monte de conteúdo.

    • Esta resposta foi modificada 1 semana, 2 dias atrás por Gabriel Alves.
    #22200
    Lúcio
    Aluno

    Bom dia.

     

    A iteração na qual o travamento inicia é entre 3 e 5.

    Isso demora cerca de 1 até 4 min.

    Estou usando o chrome :), devorador de ram.

     

    Estou fazendo um teste limpando os outputs seguidamente, está indo 🙂

    Uma pergunta importante, você uso o colab hospedado ou conecta ele localmente?

    Pergunto pela questão da memória que você citou.

    Att Lúcio

    #22201
    Lúcio
    Aluno

    Bom dia.

     

    Preciso ficar limpando o output de 3 em 3 minutos senão trava.

    Travado

    #22233
    Gabriel Alves
    Moderador

    Olá! Conseguiu prosseguir com o treinamento dessa forma?

    Realmente é estranho ocorrer esse travamento em uma fase tão inicial do treinamento, nos meus testes ocorria depois de umas 1000 iterações pelo menos, justamente por conta daquele motivo que falei.

    A propósito, esses travamentos tem ocorrido sempre quando atinge esse número de iterações ou isso ta variando?

    Realmente o Chrome abusa no uso da RAM hehe, a minha sugestão seria fazer o teste com outro navegador só para ver se o problema pode ser isso mesmo. Ah e também experimente fechar todas as outras abas e programas que tem aberto (tipo o Pycharm que vi que estava aberto ali no print, dependendo do que está aberto ele utiliza muito da sua memória).

    Quanto à pergunta do Colab que você fez, utilizo ele normalmente assim pelo navegador. Uma opção é usar o Jupyter Notebook em sua máquina local porém só se você possuir uma GPU da Nvidia à disposição, se não o tempo de treinamento vai ser MUITO maior.

    Qualquer dúvida é só avisar 🙂

    #22248
    Lúcio
    Aluno

    Bom dia.

    Vou tentar usar o Edge e o Mozila sem mais softwares abertos…

    Não consegui evoluir por causa do travamento do colab, mas retorno com feedbacks após os testes em outros navegadores.

     

    #22277
    Gabriel Alves
    Moderador

    Bom dia! Creio que sem softwares abertos ou outras abas já vai dar uma boa melhora, mas é bom testar com outros navegadores também pois esse erro da tela ficar preta com tão pouco tempo de treinamento não é comum mesmo, então as vezes pode ser até um bug.

Visualizando 7 posts - 1 até 7 (de 7 do total)
  • Você deve fazer login para responder a este tópico.