Forum Replies Created
- Posts
Opa, nesse caso é um problema em relação ao limite de memória disponível mesmo. Para isso tem algumas coisas que podemos fazer. O que influencia um pouco também é o fato do Mask R-CNN atualmente não ser tão otimizado paras as versões mais recentes do Tensorflow (e não podemos mais fazer o downgrade para a versão 1.x pelo Colab infelizmente, para fazer isso teria que instalar localmente).
Mas enfim, para otimizar o uso da memória você pode tentar algumas coisas, que funcionou para os outros alunos que recomendamos:
Primeiro seria reduzir o tamanho das imagens do dataset, que estariam grandes para processar. Você pode tentar diminuir o tamanho das imagens, até porque na verdade ele não precisa ser tão grande assim. O tamanho é controlado pelos seguintes parâmetros IMAGE_MIN_DIM e IMAGE_MAX_DIM.
Os valores padrões são 800 e 1024, respectivamente, então podemos reduzir já que não há a necessidade de um tamanho tão grande, ainda mais para um dataset cujo objeto possui um formato onde não há detalhes tão pequenos. Então, podemos tranquilamente abaixar para 512 por exemplo, desse modo conseguimos executar no Colab sem erros.
Já aproveitando, sugiro também mudar o valor do VALIDATION_STEPS para = 5, já que devido ao número de passos definido ele não precisa ser tão grande também.
Mas apenas com essa alteração já consegui rodar aqui usando o mesmo Colab, se quiser confira aqui e compare com seu código.
Uma segunda opção para otimizar o uso da memória seria mudar a rede de backbone, que por padrão é a resnet101 porém você pode mudar para a resnet50 e assim reduzir o uso da memória, além de treinar mais rápido.
Mas isso só precisa fazer caso mesmo com a mudança no tamanho ele ainda ultrapasse o limite de memória.
Você pode testar aquela alteração antes, e se ocorrer o erro, faz essa outra mudança também. Porém apenas mudando o tamanho já é para funcionar com esse dataset dos balões pelo menos, e mais outros que testamos. Se for um dataset muito mais complexo então pode ser que realmente precise de mais essas outras configurações adicionais para conseguir rodar no Colab.
Obs: Esses parâmetros você define lá na classe ConfigRede.
Veja que lá já tem alguns parâmetros definidos, como o IMAGES_PER_GPU = 2
para definir esses outros basta colocar ele dentro da classe, entre o “class ConfigRede(Config):” e o “config = ConfigRede()”. É igual ao padrão que estão nos outros ([Parâmetro] = [Valor]), por exemplo assim:
IMAGE_MIN_DIM = 512
IMAGE_MAX_DIM = 512
Olá Rodrigo!
Você está executando com GPU ou CPU apenas? Porque se você mudou nas configurações do ambiente para usar GPU então esse problema não vai ocorrer (acabei de testar o código novamente no Colab e está ok, se quiser revisar se está exatamente igual ao seu veja aqui).
Mas para executar no Colab sem GPU então você precisa fazer uma pré-configuração antes de executar o restante do código.
Para conseguir rodar, execute os seguintes comandos (reinicie a sua sessão, caso já tenha importado o dlib)
!pip uninstall dlib !sudo pip install -v --install-option="--no" --install-option="DLIB_USE_CUDA" dlib
E então, em seguida você vai executar o import dlib e o restante do código.
Assim é para funcionar mesmo sem GPU, mas qualquer dúvida é só avisar.
Olá Ian!
Obrigado por avisar, o link do Colab não estava aparecendo mesmo para essa aula em específico, mas agora já está corrigido e acessível.
Olá! Se você reiniciar a sessão e executar novamente todo o código anterior o erro permanece durante o treinamento?
Se sim, poderia compartilhar aqui o seu Colab, se possível? Para conseguir analisar melhor essa questão e ver se há outra coisa interferindo.
Olá Pedro!
Então ele treinou corretamente da primeira vez, mas quando você continuou com o treinamento ele apareceu esse erro, isso? E ocorreu na mesma sessão onde foi feito o treinamento inicial, ou esse erro ocorreu somente em outra sessão?
Me passe qual a versão do tensorflow que seu Colab está usando. (recomendo usar a 2.9.2 para evitar possíveis problemas, para isso tem que executar o comando !pip install tensorflow==2.9.2 e !pip install tensorflow-gpu==2.9.2 antes de fazer o import)
E verifique se deixou o código da configuração igual à aqui https://colab.research.google.com/drive/1CEu9aKbtM0jDZMUN2282fMwV4c-fEn5O?usp=sharing
Caso esteja e mesmo assim o erro persistir, por favor compartilhe seu Colab por aqui se possível, assim consigo verificar com mais detalhes se há outra coisa interferindo.
Olá Michael! Primeiramente, ficamos felizes que esteja gostando do curso =)
Você poderia treinar um modelo personalizado de detecção para isso, mais especificamente os métodos com deep learning, que são abordados a partir da segunda seção. Ou ainda, poderia tentar até treinar um modelo de detecção de objetos (como o YOLO), caso segmentar a região exata não seja uma necessidade, apenas detectar a presença ou não (e a localização).
Pode ser que seja muito inviável ajustar o modelo customizado, já que são detalhes bastante “finos”, nesse caso eu sugiro você tentar antes alguma técnica de processamento de imagem.
Pode ser que usando uma combinação de técnicas você consiga um resultado até bem melhor ainda, sem falar que não exige treinar um modelo novo e também vai ser bem mais rápido para processar do que usando deep learning. Poderia talvez usar como base inclusive uma das técnicas de segmentação de abordagem clássicas, como a limiarização por exemplo.Veja aqui um exemplo de código, onde é possível programar um modo de automaticamente segmentar a linha mais longa na imagem. Fazendo os ajustes necessários você poderia adaptar o código para detectar a linha mais “relevante” e alta na imagem, que nesse caso representa a falha. Essa é uma ideia, mas possivelmente precise de vários ajustes pois nesse caso não é uma linha exatamente.
Uma outra sugestão para usar em conjunto com essa técnica que comentei acima é criar uma função para detectar a variação de luminosidade na imagem, conforme percorre de cima à baixo na imagem (passando de cima à baixo como se fosse descendo as linhas de uma tabela, por exemplo) – assim, consegue programar para identificar em que altura da imagem há uma diferença de claridade fora do padrão (o que na prática é uma característica da falha em si).
—
Edit:
Enquanto eu pesquisava, encontrei bastante coisa ao usar os termos “tire-defect detection”, recomendo bastante procurar, vai te dar algumas boas ideias.
Exemplo: https://www.mdpi.com/1424-8220/21/21/7073
Outra coisa que você pode tentar é procurar por técnicas de detecção de anomalias. Pesquise por “anomaly detection” e de preferência associado aos termos “computer vision” e/ou “manufacturing”. Você vai encontrar uma boa lista de técnicas e artigos que propõem diversas alternativas para solucionar esse problema, cada um se adequando à necessidade do cenário.
Porém nesse caso creio que será mais difícil “calibrar” já que os detalhes com falha são realmente bastante sutis na imagem.
Olá Matheus!
Isso mesmo haha sua dúvida é explicada logo em uma próxima aula, na “Treinamento customizado 6”. Não foi explicado na mesma aula onde é executado o treinamento pela primeira vez, mas se quiser saber como fazer isso basta ver essa aula e lá tá explicado com detalhes.
Olá Gabriel!
Infelizmente nos últimos dias o Colab retirou o suporte que faltava para execução do tensorflow 1.x, antes já havia removido porém para essa implementação ainda havia uma alternativa, agora parece mesmo com as correções não está funcionando pois não tem como fazer o downgrade de certos pacotes que são necessários também, devido à impossibilidade de mudar a versão do Python (até tem um “hack” para mudar no Colab, porém dá problema ao usar a GPU). Enquanto buscamos por uma solução alternativa (ou aguardamos uma correção por parte dos desenvolvedores, o que nem espero pois se sair vai levar muito tempo) eu sugiro apenas assistir às aulas e pular a implementação, ou se desejar implementar pode tentar instalar em sua máquina local, pois lá você não terá limitação para usar a versão 1.x do tensorflow — obs: só recomendo fazer isso em um ambiente virtual com python versão 3.7.x, já que as superiores você pode encontrar algum problema.
Outra alternativa ainda é usar a implementação feita para o tensorflow 2.x que roda no Colab, porém essa é diferente em alguns detalhes – mas se quiser fazer veja aqui.
Ou se não quiser, pode pular direto para a próxima seção e apenas assistir às aula do ProGAN, que na verdade ele acaba sendo até opcional nesse curso, já que o foco maior seria o StyleGAN que é uma evolução dele.
(a propósito, não é todo dia que vejo outro Gabriel Alves haha…)
Olá Caio!
Isso acontece quando o valor de threshold é extremamente baixo, pois ele passa a exibir todas as caixas detectadas sem filtrá-las com base no score.
Qual valor de limiar você passou? Poderia me passar o comando exato? Tente com diferentes valores.
E também teste a implementação com OpenCV e observe se o problema continua, mas acredito que seja apenas na implementação do darknet, pode ser algum detalhe quando à sintaxe do comando. Mas se o problema persistir e você conferiu realmente se está tudo certo essas questões, pode ser até mesmo algum tipo de bug que ocorre em algumas versões muito específicas do MacOS por exemplo, nesse caso teria que ver qual a sua versão e até reinstalar o repositório se possível.
Olá Felix!
Na verdade, o curso está dividido entre as abordagens clássicas (sem o uso de deep learning) e os métodos baseados em deep learning. Na primeira seção do curso, é apresentado várias técnicas diferentes para realizar a segmentação, são chamadas de abordagens clássicas pois não fazem o uso de deep learning. Dependendo do propósito, são mais eficientes e eficazes que os métodos modernos, que são apresentados nas seções seguintes.
O uso de equações diferenciais parciais aplicado em segmentação de imagens não foi abordado realmente, pois é algo bastante específico. Até foi estudado adicionar ao curso na época, porém a grade já estava demasiadamente grande, a ideia era conter pelo menos todas as categorias de segmentação (ex: limiarização, bordas, região, etc.) e essa outra poderia até ser incluso então como um bônus, porém já haviam várias outras formas mais usadas que acabaram sendo adicionadas (e além das PDEs, existem pelo menos mais centenas de outras formas).
Mas é uma abordagem bastante interessante sim, há vários artigos que demonstraram conseguir resultados ótimos (por exemplo, esse).
Olá Lucas!
Isso mesmo, tem essas aulas sobre a implementação dessas técnicas. Na verdade o que estava ocorrendo nesse caso é que essas aulas foram editadas e por algum motivo isso alterou a ordem de exibição, então elas estavam aparecendo porém estavam um pouco mais a frente na ordem das aulas, caso avançasse ali mais um pouco logo iria ver as respectivas aulas. Mas agora já está corrigido e estão na ordem correta =) mas qualquer dúvida é só avisar!
Olá Matheus!
Após uma atualização recente no Colab não da mais para carregar o Tensorflow 1.x, por isso precisa fazer alguns ajustes para converter a implementação para Tensorflow 2. Dê uma olhada aqui no Colab oficial da aula para ver as mudanças https://colab.research.google.com/drive/1vNlUU9KVZf7dsnLUSFfioMh2A1Mf0Dyj?usp=sharing
É pouca coisa que muda, basta deixar seu código alinhado com essas alterações e vai funcionar certinho
Olá Carla!
Devido a uma atualização recente no Colab a versão padrão do tensorflow carregada na sessão está apresentando alguns problemas de compatibilidade com o repositório, por isso que executando o mesmo código mostra esse erro agora. Então para não precisar aguardar isso ser resolvido podemos contornar esse problema fazendo o downgrade do tensorflow, por exemplo para a 2.9.2 (que estava sendo carregada por padrão 1 mês atrás)
Para fazer isso, basta colocar o código abaixo antes do import tensorflow
!pip install tensorflow==2.9.2 !pip install tensorflow-gpu==2.9.2
Caso já tenha importado o tensorflow então precisa reiniciar a sessão.
Fazendo isso deve funcionar, testei com o seu código e deu certo.
