Forum Replies Created
- Posts
Ah sim, neste caso ele está calculado a distância de cosseno entre dois registros, transformando os dados originais nas distâncias entre eles. Isto significa transformar uma tabela onde cada registro x1, x2, … xn, representado por var_1, var_2, …, var_n, em uma matriz quadrada de tamanho xn x xn com a distância de cosseno entre cada registro. O mesmo poderia ser feito para distância euclidiana ou qualquer outra medida de distância, seguida de PCA.
A distância de cosseno geralmente é utilizada em alguns contextos específicos, principalmente para representar similaridade entre embeddings, ou seja, dados codificados produzidos por uma rede neural. Com dados brutos, como é o caso deste exemplo, é muito raro utilizar porque a distância de cosseno não costuma significar alguma coisa de valor prático, mas neste caso, pela conclusão do autor, parece que ela foi útil na clusterização.
Em machine learning, muitas transformações dos dados não são muito intuitivas, e a gente acaba descobrindo seu valor testando e vendo se os resultados fazem algum sentido. Este parece ser o caso.
Olá Fogaça,
Esse processamento me parece estranho, pois a distância de cosseno vai resultar em um valor único, ou seja, X terá uma única variável, e o PCA de uma única variável é esta própria variável; você nem consegue fazer um PCA com 2 componentes neste caso.
Se você puder indicar algum exemplo de onde viu isso, eu posso dar uma checada mais aprofundada.
Olá José,
Não tem uma resposta pronta. Eu certamente faria primeiro uma análise de cada dataset individual, para tentar descobrir informações isoladas sobre os clientes, ou sobre as ordens, ou sobre os pagamentos, e depois faria uma nova análise com todos os dados agrupados, para tentar evidenciar algumas correlações.
Olá Wesley.
Isso mesmo. Seu score, calculado com base na sua solução, consta no lado direito, e você pode ver sua posição na competição no link Jump to…
Sim Caio, o pooling serve para acentuar alguns sinais obtidos pelas camadas de convolução, e depois que eles são concatenados, todos eles são utilizados na fase de classificação.
Olá Luis,
Imagine por exemplo que você quer que a rede neural retorne “sim” ou “não” para predizer se vai chover. Se vai chover qualquer quantidade, ela tem que retornar simplesmente “sim”, se não vai chover nada ela retorna “não”. Aí seria um caso onde a step function resolve.
Não, em todos. Na verdade quando as redes neurais fazem classificação, elas tratam como regressão até a última etapa, e só no final transformam a predição em uma classe.
Oi Caio,
Imagine que você está fazendo uma regressão linear com somente um atributo. Sem o bias, esta regressão deve necessariamente passar pela origem, ou seja, o ponto (0, 0), mas nem sempre isso é desejável. O bias serve para “deslocar a origem” para outro ponto de y, e assim produzir uma regressão mais adequada. Como na figura abaixo:
Olá Fabio,
Quanto mais específico o dataset pra seu problema de interesse, melhor costuma ser o desempenho. Você pode testar com este dataset e verificar se está satisfeito com os resultados antes de tentar com outro.
Oi Caio,
Infelizmente não existe uma resposta pronta para essa pergunta, pois depende muito das características do problema e se o modelo escolhido é de fato adequado para ele, o que é muito difícil de dizer com certeza. O que se costuma falar muito em machine learning é na ideia do trade-off, em algumas situações nós temos que encontrar um equilíbrio entre, por exemplo, o desvio padrão e a acurácia. Se o desvio está muito “alto”, vale a pena aplicar dropout para reduzir a probabilidade de overfitting, mas assim a gente pode sacrificar um pouco da acurácia. A solução final vai depender de uma série de fatores como a experiência do desenvolvedor e a área de aplicação da IA.
