Medida de importancia de uma tarefa em relaçao ao todo

[Shin]

Eu tenho um conjunto de tarefas e queria saber se é possível calcular o peso destas tarefas em relação ao todo. Sei que é possível fazer tf-idf com uma palavra, mas queria fazer com a tarefa. O problema é que por ser uma tarefa tem muitas palavras. Gostaria de uma ajuda. A base de dados é essa:https://docs.google.com/spreadsheets/d/1TUTqsRlPdXVc-CfYv9PF6itq4VpFCFus/edit?usp=sharing&ouid=104430837841044523647&rtpof=true&sd=true

 

Gostaria de saber, por exemplo, o peso de cada tarefa em relaçao a ocupaçao “chief executives”. É possivel?

[Denny Ceccon]

Olá Shin,

Não entendi bem o que você quer fazer, se a ocupação tem 5 tarefas, o peso não seria simplesmente 100/5 = 20%?

[Shin]

Se você considerar que todas as tarefas são iguais, sim, mas gostaria de ver a importância delas por meio do tf-idf. Acha que seria possível? Sei que é possível determinar a importância de um termo para um texto, mas queria saber se é possível determinar a importância de uma frase em relação ao documento, ou seja, a importância da tarefa em relação a ocupação, ou se daria para somar a importância de cada termo.

[Denny Ceccon]

Acho que você poderia substituir todos os espaços por um underscore, assim o TF-IDF Vectorizer do Sklearn, por exemplo, vai considerar que cada tarefa inteira é uma palavra só.

[Shin]

Deu certo. Como saber o quão bom está? Sei do sklearn metrics, mas olhando ele não consigo encontrar nos meus dados y true e y pred.

Digamos que tenha, agora, duas colunas, uma com a tarefa e a outra com o peso(importância), tu saberias me dizer como utilizar uma métrica para verificar quão bom está?

[Denny Ceccon]

Eu não vejo como avaliar isso porque a importância é uma medida dos dados. Seria a mesma coisa que calcular uma média e querer determinar se a média “está boa”.

[Autor]

Posts