Naive Bayes em texto II

Visualizando 6 posts - 1 até 6 (de 6 do total)
  • Autor
    Posts
  • #20814
    Flavia
    Participante

    No vídeo Naive Bayes em texto II.

    O algoritmo classificou a frase como alegria em 69%  e 31% em medo. A frase ao ler seria de medo, neste caso seria um erro do algoritmo?  Teria que ter mais treinamento para então ter uma resposta coerente e eficácia?

     

    att,

    • Este tópico foi modificado 3 anos, 6 meses atrás por Flavia.
    #20820
    Jones Granatyr
    Moderador

    Olá Flavia,

    Sim, poderia considerar um erro do algoritmo. Mas essa base de dados é bem ruim e dificilmente vamos chegar em valores melhores 🙁

    No final eu comento sobre algumas melhorias que podem ser implementadas. Veja também o curso Processamento de Linguagem Natural com spaCy e Python, que usamos uma base do Twitter em português e conseguimos resultados bem interessantes 🙂

    Jones

    #28976
    RicTompson
    Participante

    Considerando base de dados com classes desbalanceadas (nesse exemplo, muito mais classe medo do que alegria), temos que efetuar algum balanceamento prévio ou o Naive Bayes  é um algoritmo para isso?

    Outra dúvida: Como o Naive Bayes trabalha com probabilidade, é necessário fazer um LabelEncoder para os atributos (como num vídeo demonstrado na IA Expert)? Assim, pensando em probabilidade, não poderia trabalhar sem usar o LabelEncoder para cada atributo nominal, ou seja, trabalhar com o atributo “bruto” mesmo?

    #28992
    Fábio Spak
    Participante

    Olá RicTompson, segue a resposta do instrutor Denny:

    No caso de datasets desbalanceados, ainda assim é recomendável fazer o rebalanceamento, ou utilizar alguma modificação do algoritmo que leve isto em consideração. Para o Naive Bayes, encontrei um artigo inteiro tratando deste assunto: https://www.cs.waikato.ac.nz/~eibe/pubs/FrankAndBouckaertPKDD06new.pdf

    Sobre o LabelEncoder, vai depender da biblioteca. A biblioteca NLT apresentada no curso não precisa desta etapa, mas outras exigem receber os textos com indicadores numéricos.

    #29013
    RicTompson
    Participante

    Primeiro, parabéns pelo curso! Já tinha pesquisado sobre o Naive Bayes em outros sites (youtube, etc…) e nenhum (pelo menos os que vi) são tão didáticos quanto os vídeos aqui disponibilizados.

    Minha dúvida é quanto o atributo renda: Nos vídeos, a renda é classificada por classes (como exemplo, <15.000, >15000, etc). Numa situação real, que tenhamos uma base de dados de, por exemplo, clientes de uma financeira, que todos têm renda diferentes entre si (mesmo que alguns centavos). É necessário reduzir a quantidade de classes desse atributo ou o Naive Bayes trabalha diretamente com o atributo dessa forma (inúmeros valores diferentes de renda)?

    #29050
    Fábio Spak
    Participante

    Olá Ric,  ficamos felizes que esteja gostando do curso 🙂 Segue a resposta do instrutor Denny:

    “O algoritmo Naive Bayes trabalha com atributos categóricos, então é preciso transformar a renda em faixas, de acordo com alguma regra que faça sentido para o negócio.”

    Fabio

    • Esta resposta foi modificada 2 anos, 10 meses atrás por Fábio Spak.
Visualizando 6 posts - 1 até 6 (de 6 do total)
  • Você deve fazer login para responder a este tópico.