Olá Luiz,
TensorFlow e PyTorch são bastante similares, é questão de gosto pessoal, e hoje são as opções mais completas. Ambas oferecem uma API de baixo nível, que é mais difícil de configurar, mas permite um alto controle do processo. O Keras é uma API de mais alto nível do TensorFlow, ou seja, utiliza TF no background, mas é mais fácil de operar, pois possui várias classes prontas para uso. O Pybrain foi descontinuado.
Você consegue implementar redes recorrentes tanto no TF quanto no PyTorch, mas pela facilidade de uso, para a maioria das aplicações você pode usar o Keras.