Olá Michael!
Acho que você pode conseguir isso que deseja através do fine-tuning. Se quiser se aprofundar mais no tema e ir além do que abordamos no curso então recomendo a leitura desse artigo: https://www.pyimagesearch.com/2019/06/03/fine-tuning-with-keras-and-deep-learning/
Ali explica exatamente como implementar usando o Tensorflow 2 / Keras.
Também recomendo dar uma olhada nesse paper que foi publicado há pouco tempo, onde o autor demonstrou como conseguiu um resultado superior ao primeiro lugar na competição usando a arquitetura VGG (fine-tuned VGG-face).
Se o seu objetivo é melhorar o modelo para utilizá-lo em uma aplicação então eu também sugiro adicionar mais imagens de treinamento, de preferência usando as outras bases comentadas em aula, além do fer2013.