Olá Heitor,
Loss é uma forma de quantificar quanto o algoritmo está errando nas previsões. Seu valor absoluto não significa muita coisa, ele é só uma medida que o modelo usa para ir melhorando ao longo do treinamento. O importante é que vá diminuindo com as épocas sucessivas, até chegar em alguma situação onde a capacidade do algoritmo aprender está exaurida. É por isso que sua loss está estagnada.
A análise da qualidade do algoritmo é feita depois do treinamento, com as métricas de avaliação. Nesta altura, o valor de loss não quer dizer muita coisa.