O mais provável é algum erro de implementação mesmo. Você poderia tentar simplificar sua arquitetura para debug, e rodar passo a passo pra ter certeza de que os cálculos estão corretos.
Se você só está interessado em um algoritmo funcional, por que não usa alguma biblioteca com a implementação pronta? Para implementações mais simples, poderia utilizar o Scikit-Learn mesmo, ou se quiser ter mais controle sobre a arquitetura poderia usar o Keras.