Forum Replies Created
- Posts
Olá Caio,
Você precisa garantir que as duas são amostras representativas da mesma população. Existe uma literatura considerável sobre o que significa uma amostra representativa, mas um dos princípios mais fundamentais é que ela seja aleatória. Não precisa ter o mesmo número de amostras, mas tecnicamente você precisa garantir que o número de amostras seja suficiente para medir o efeito de interesse. Este é outro assunto que tem bastante material de referência, te recomendo este artigo pra te dar uma ideia: https://www.statology.org/minimum-sample-size-for-t-test/
Olá Shin,
Tente adicionar o parâmetro
manual=Trueà chamada do displacy, como sugere o código de erro.Bem observado, Caio! Neste caso, você não vai poder usar a função
cross_val_score, e precisa fazer uma implementação manual. Seria mais ou menos assim:from sklearn.model_selection import StratifiedKFold from sklearn.preprocessing import StandardScaler from sklearn.neighbors import KNeighborsClassifier from sklearn.metrics import accuracy_score skf = StratifiedKFold(n_splits=5) z_score_treinamento = StandardScaler() z_score_teste = StandardScaler() accuracy_folds = [] for train_index, test_index in skf.split(X, y): X_treinamento, y_treinamento = X[train_index], y[train_index] X_teste, y_teste = X[test_index], y[test_index] X_treinamento_p = z_score_treinamento.fit_transform(X_treinamento) X_teste_p = z_score_teste.fit_transform(X_teste) knn = KNeighborsClassifier() knn.fit(X_treinamento_p, y_treinamento) previsoes = knn.predict(X_teste_p) accuracy = accuracy_score(y_teste, previsoes) accuracy_folds.append(accuracy)Ou seja, os splits são produzidos manualmente através da classe
StratifiedKFold, aí cada split é padronizado, o modelo é treinado, a acurácia é calculada e o resultado é acumulado na listaaccuracy_folds.Olá Samara,
Se você inspecionar a variável
resultados, vai ver que uma das primeiras informações é o suporte:
Olá Shin,
A classe gramatical (verbo ou substantivo) você pode pegar do atributo
pos_dos tokens, e se o token for um substantivo, pode verificar no atributodep_se ele é um objeto; em caso afirmativo, pode associar o substantivo com o verbo que vem antes.Em inglês temos outras opções como o atributo
noun_chunksdo documento, que reconheceria por exemplo que “chefes de departamento” é uma coisa só, mas em português a biblioteca é mais limitada.Olá Arno,
Você pode fazer um loop por cada tupla (chave, valores) do dicionário e imprimir a chave e a média dos valores:
for key, values in dictionary.items(): print(key, values.mean())Olá Hagi,
Se o objetivo for avaliar os modelos exaustivamente, seria sim interessante repetir o processo todo a cada fit do grid search, pois em alguns casos a alteração dos hiperparâmetros pode mudar consideravelmente o comportamento do modelo. Entretanto, na prática isto geralmente não ocorre, principalmente com modelos grandes ou muitos dados, que levam muito tempo pra treinar. No final das contas vai da disponibilidade de tempo e de recursos, que você deve balancear com a confiança que quer ter no modelo final. Não existem regras muito fixas sobre isso, o desenvolvedor vai adquirindo uma intuição com a experiência e conforme se familiariza com cada caso. No final das contas, Ciência de Dados é tão arte quanto ciência! 🙂
Olá Renato,
Sim, na Parte 1 você encontra a sessão Avaliação de algoritmos de classificação, e a aula Validação cruzada.
Olá Hagi,
É possível sim, os mesmos conceitos se aplicam. Inclusive a biblioteca
imblearnaceita nativamenteycom mais de duas categorias.Olá Shin,
Você nem precisa do spacy, pode fazer uma função como a seguir:
def clean_text(text): text = text.lower() words = text.split() keep = ['.', ',', '!', '?'] # supondo que quer manter alguma pontuação clean_words = [] for word in words: clean_word = ''.join([c for c in word if c.isalpha() or c in keep]) # isalpha retorna True se o caractere for alfabético if clean_word is not '': # algumas palavras vão estar vazias, podemos ignorá-las clean_words.append(clean_word) return ' '.join(clean_words)
Exemplo:
clean_text('Olá, bom dia @Shin! Você tem 1 minuto?') # olá, bom dia shin! você tem minuto?Olá Shin,
Suponho que você perguntou sobre um parágrafo. Até pode, mas a ideia do tf-idf é reconhecer as palavras mais distintivas de cada texto, e se analisamos o parágrafo inteiro, ele dificilmente vai se repetir em outros textos, o que compromete a ideia que fundamenta o tf-idf.
Olá Thiago, você até pode usar o
train_test_split(depois que as janelas de tempo estão prontas, ou seja, depois de criar a variávelX), mas se quiser gerar um gráfico no final com dados contínuos, é mais interessante separar alguns registros do final da sua tabela histórica, já que usandotrain_test_split, o dia em questão vai ser amostrado aleatoriamente.
