[Denny Ceccon]

Adiciona o seu código (definição do df_final) mais o meu código neste ponto do notebook:

[Denny Ceccon]

O que eu acho mais provável é por causa de versões das bibliotecas, às vezes os desenvolvedores mudam a forma de usar o algoritmo, eu acho que este foi o caso. Antigamente aceitava numérico, agora não aceita mais.

[Denny Ceccon]

Olá Caio,

Te confesso que não sei exatamente como o algoritmo funciona em detalhes, não é um algoritmo muito utilizado hoje em dia então não é comum alguém se especializar nele, mas como se trata de um algoritmo de aprendizagem não-supervisionada, então é ele próprio quem determina o número de clusters (veja que nós nem passamos o número de clusters ou a variável y para o algoritmo treinar), dependendo de quantos BMUs são selecionados na primeira iteração. Mas justamente por isso, como o posicionamento inicial dos neurônios é feito aleatoriamente, a cada vez que você gera um SOM é possível que isto resulte em um número de BMUs diferente, o importante é que há essa tendência de os registros migrarem para regiões similares do mapa. Podemos dizer que é um algoritmo que apresenta várias possíveis soluções, mas todas elas são válidas.

Eu desconfio que os cálculos são feitos todos de uma única vez, geralmente só fazemos em “batches” quando os dados não cabem todos na memória, mas teria que inspecionar o algoritmo com cuidado para ter uma resposta definitiva.

Se você quiser se aprofundar no assunto, sugiro procurar mais vídeos no YouTube, é geralmente como eu faço para entender melhor sobre algum método.

[Denny Ceccon]

Se você seguir a minha orientação, os valores serão expressos como 0 ou 1, e não haverá mais problema para interpretação. Sem a correção, os resultados não fazem sentido.

[Denny Ceccon]

Você precisa copiar a função do Colab da aula, ou colar seu código lá.

[Denny Ceccon]

Faltou fechar um parênteses na linha de cima.

[Denny Ceccon]

Olá Paulo,

Concordo com você, a solução poderia ser alcançada usando seu raciocínio, vou repassar ao professor para providenciar a correção.

[Denny Ceccon]

Olá Shin,

Você vai precisar comparar as sentenças individualmente usando um loop:

matriz_similaridade = []
for sent1 in df_final['Task1']:
    vetor_similaridade = []
    for sent2 in df_final['Task2']:
        vetor_similaridade.append(calcula_similaridade_sentencas(sent1, sent2))
    matriz_similaridade.append(vetor_similaridade)
matriz_similaridade = np.array(matriz_similaridade)

O resultado vai ser uma matriz com os valores de similaridade entre todos os pares de sentenças.

• This reply was modified 3 years, 7 months ago by Denny Ceccon.

[Denny Ceccon]

Olá Caio,

• Não dá pra dizer que os SOMs são melhores que o KNN, são técnicas diferentes com objetivos similares, assim como árvores de decisão e redes neurais que podem ser utilizadas com os mesmos objetivos.
• Uma forma é como o professor mostrou na aula Mapas auto organizáveis – aprendizagem, onde o número de clusters é igual ao número de BMUs identificados na inicialização do mapa.
• Dê uma olhada neste exemplo no GitHub da biblioteca, a função classify faz a classificação.

[Denny Ceccon]

Olá Luis,

Se você observar, 16384 = 64 * 64 * 4. Imagens coloridas geralmente têm 3 canais diferentes, um para cada cor primária, mas algumas (como as de formato PNG) têm um quarto canal chamado de alpha com a transparência. Deve ser este o caso. Tenta converter elas pra JPEG antes.

[Denny Ceccon]

Olá Luís,

Observe que, na aula seguinte (Base de dados, por volta de @5:15), o professor vai configurar o loader para entregar imagens com o tamanho de 64×64 pixels. Nas camadas de convolução, como estamos usando um kernel_size de 3 e stride de 1 (o stride não está explícito na construção do modelo, mas 1 é o valor padrão), isto implica que o resultado será uma matriz com 2 pixels a menos, 1 em cada extremidade. Ou seja, ao final da primeira convolução, a matriz terá 62×62 pixels. Na camada de MaxPooling, estamos usando um kernel_size de 2, o que fará com que a matriz fique com a metade dos pixels, ou seja, 31. Como este processo é repetido mais uma vez, isto resulta primeiro, na convolução, em uma matriz de 29×29, e depois, no MaxPooling, em uma matriz de 14×14 (1 pixel é descartado porque a divisão não é perfeita). Já o 32 é o número de filtros utilizado na última camada de convolução (parâmetro out_channels).

O 128 não tem uma razão específica, a princípio poderia ser qualquer valor, mas é comum construir camadas densas com exponentes de 2, e 128 é um valor bastante comum.

[Denny Ceccon]

Olá,

É que, como você converteu a variável income para valores numéricos, o algoritmo está prevendo números reais. Para o processamento correto, você precisa transformar a variável em um fator, basta ativar a linha 16 que está comentada. A diferença para a aula deve ser em função de alguma atualização nas versões mais recentes da biblioteca.

[Denny Ceccon]

Ah sim, neste caso ele está calculado a distância de cosseno entre dois registros, transformando os dados originais nas distâncias entre eles. Isto significa transformar uma tabela onde cada registro x1, x2, … xn, representado por var_1, var_2, …, var_n, em uma matriz quadrada de tamanho xn x xn com a distância de cosseno entre cada registro. O mesmo poderia ser feito para distância euclidiana ou qualquer outra medida de distância, seguida de PCA.

A distância de cosseno geralmente é utilizada em alguns contextos específicos, principalmente para representar similaridade entre embeddings, ou seja, dados codificados produzidos por uma rede neural. Com dados brutos, como é o caso deste exemplo, é muito raro utilizar porque a distância de cosseno não costuma significar alguma coisa de valor prático, mas neste caso, pela conclusão do autor, parece que ela foi útil na clusterização.

Em machine learning, muitas transformações dos dados não são muito intuitivas, e a gente acaba descobrindo seu valor testando e vendo se os resultados fazem algum sentido. Este parece ser o caso.

[Denny Ceccon]

Olá Fogaça,

Esse processamento me parece estranho, pois a distância de cosseno vai resultar em um valor único, ou seja, X terá uma única variável, e o PCA de uma única variável é esta própria variável; você nem consegue fazer um PCA com 2 componentes neste caso.

Se você puder indicar algum exemplo de onde viu isso, eu posso dar uma checada mais aprofundada.

[Denny Ceccon]

Olá José,

Não tem uma resposta pronta. Eu certamente faria primeiro uma análise de cada dataset individual, para tentar descobrir informações isoladas sobre os clientes, ou sobre as ordens, ou sobre os pagamentos, e depois faria uma nova análise com todos os dados agrupados, para tentar evidenciar algumas correlações.

[Author]

Posts