Validação Cruzada

[Cassio Sitta]

Interessante como os resultados de precisão do modelo variaram conforme partição da base de dados. Até que ponto de desvio padrão é aceitável para se considerar um modelo com boas capacidades preditivas? Esse fator é levado em conta? além da acurácia média do modelo? Por exemplo: em termos preditivos, o que seria mais interessante, um modelo com acurácia média mais alta e desvio padrão mais alto, ou modelo com acurácia média menor porém com desvio mais baixo?

Só por curiosidade mesmo.

Obrigado!

[Jones Granatyr]

Olá Cassio,

Não existe um valor de desvio padrão definido, mas certamente, quanto menor melhor, pois isso indica que o modelo tem melhor capacidade de generalização. Um desvio padrão alto, por outro lado, pode indicar tanto que o modelo é inadequado para processar os dados em questão (pense em um modelo linear tentando ajustar dados de natureza não-linear), ou que o número de instâncias para treinamento é baixo (não permitindo o ajuste completo dos seus parâmetros). Por isso, mesmo que a precisão de uma dobra durante a validação cruzada seja alta, um desvio padrão alto nos diz que esse resultado não é confiável.
Em resumo, um desvio padrão baixo indica quanto podemos ter segurança de que a precisão alcançada é um bom indicativo da capacidade daquele modelo específico capturar (pelo menos parte d)o comportamento de um fenômeno através dos dados disponíveis.

Jones

[Cassio Sitta]

Entendi e muito obrigado pela explicação

[Jones Granatyr]

Qualquer outra dúvida é só avisar!

[Author]

Posts