- This topic has 5 replies, 4 voices, and was last updated 4 years, 5 months ago by
.
- Posts
No vídeo Naive Bayes em texto II.
O algoritmo classificou a frase como alegria em 69% e 31% em medo. A frase ao ler seria de medo, neste caso seria um erro do algoritmo? Teria que ter mais treinamento para então ter uma resposta coerente e eficácia?
att,
Olá Flavia,
Sim, poderia considerar um erro do algoritmo. Mas essa base de dados é bem ruim e dificilmente vamos chegar em valores melhores 🙁
No final eu comento sobre algumas melhorias que podem ser implementadas. Veja também o curso Processamento de Linguagem Natural com spaCy e Python, que usamos uma base do Twitter em português e conseguimos resultados bem interessantes 🙂
Jones
Considerando base de dados com classes desbalanceadas (nesse exemplo, muito mais classe medo do que alegria), temos que efetuar algum balanceamento prévio ou o Naive Bayes é um algoritmo para isso?
Outra dúvida: Como o Naive Bayes trabalha com probabilidade, é necessário fazer um LabelEncoder para os atributos (como num vídeo demonstrado na IA Expert)? Assim, pensando em probabilidade, não poderia trabalhar sem usar o LabelEncoder para cada atributo nominal, ou seja, trabalhar com o atributo “bruto” mesmo?
Olá RicTompson, segue a resposta do instrutor Denny:
No caso de datasets desbalanceados, ainda assim é recomendável fazer o rebalanceamento, ou utilizar alguma modificação do algoritmo que leve isto em consideração. Para o Naive Bayes, encontrei um artigo inteiro tratando deste assunto: https://www.cs.waikato.ac.nz/~eibe/pubs/FrankAndBouckaertPKDD06new.pdf
Sobre o LabelEncoder, vai depender da biblioteca. A biblioteca NLT apresentada no curso não precisa desta etapa, mas outras exigem receber os textos com indicadores numéricos.
Primeiro, parabéns pelo curso! Já tinha pesquisado sobre o Naive Bayes em outros sites (youtube, etc…) e nenhum (pelo menos os que vi) são tão didáticos quanto os vídeos aqui disponibilizados.
Minha dúvida é quanto o atributo renda: Nos vídeos, a renda é classificada por classes (como exemplo, <15.000, >15000, etc). Numa situação real, que tenhamos uma base de dados de, por exemplo, clientes de uma financeira, que todos têm renda diferentes entre si (mesmo que alguns centavos). É necessário reduzir a quantidade de classes desse atributo ou o Naive Bayes trabalha diretamente com o atributo dessa forma (inúmeros valores diferentes de renda)?
Olá Ric, ficamos felizes que esteja gostando do curso 🙂 Segue a resposta do instrutor Denny:
“O algoritmo Naive Bayes trabalha com atributos categóricos, então é preciso transformar a renda em faixas, de acordo com alguma regra que faça sentido para o negócio.”
Fabio
- You must be logged in to reply to this topic.