Medidas de posição e dispersão no contexto do fine-tuning

[Hagi Jakobson]

Para a avaliação de algoritmos de machine learning com base nas medidas de posição e dispersão é sugerido treinar no mínimo 30 modelos embaralhando-se a base de dados (seja usando divisão de dados de treinamento e teste ou validação cruzada) para cada algoritmo, para se obter estatísticas mais confiáveis. No caso, por exemplo, do fine-tuning com grid search, onde o algoritmo é o mesmo, porém os hiperparâmetros são diferentes, para se obter as medidas de posição e dispersão de maneira confiável seriam necessários 30 modelos diferentes por combinação de hiperparâmetros? Avaliação de algoritmos de machine learning com base nas medidas de posição e dispersão ocorre antes do fine-tuning, certo?

[Denny Ceccon]

Olá Hagi,

Se o objetivo for avaliar os modelos exaustivamente, seria sim interessante repetir o processo todo a cada fit do grid search, pois em alguns casos a alteração dos hiperparâmetros pode mudar consideravelmente o comportamento do modelo. Entretanto, na prática isto geralmente não ocorre, principalmente com modelos grandes ou muitos dados, que levam muito tempo pra treinar. No final das contas vai da disponibilidade de tempo e de recursos, que você deve balancear com a confiança que quer ter no modelo final. Não existem regras muito fixas sobre isso, o desenvolvedor vai adquirindo uma intuição com a experiência e conforme se familiariza com cada caso. No final das contas, Ciência de Dados é tão arte quanto ciência! 🙂

[Autor]

Posts