Como determinar o valor da taxa de aprendizagem?

[Luis Borges]

Oi professor.

Como determinamos qual deverá ser o valor da taxa de aprendizagem?

[Jones Granatyr]

Olá Luis,

Você pode gerar um gráfico para comparar os resultados. Um exemplo é mostrado neste artigo abaixo

https://towardsdatascience.com/estimating-optimal-learning-rate-for-a-deep-neural-network-ce32f2556ce0#:~:text=There%20are%20multiple%20ways%20to,%3A%200.01%2C%200.001%2C%20etc.

Outra maneira é usar o recurso de GridSearch do sklearn para fazer testes com vários valores. Veja abaixo

https://scikit-learn.org/stable/modules/generated/sklearn.model_selection.GridSearchCV.html

Jones

[Luis Borges]

Olá, professor!

Obrigado pelas indicações. No caso, me referi à taxa de 0.1, este seria um valor inicial padrão?

[Jones Granatyr]

Olá Luis,

Isso, e esse valor de 0.1 é aplicável para esse exemplos simples dos operadores. Em geral, para problemas mais complexos o valor padrão da taxa de aprendizagem é de 0.0001, 0.001 (pode depender da quantidade de dados)

Jones

[Luis Borges]

Entendi, obrigado!

[Autor]

Posts