Olá Michael!
Neste caso sugiro usar outro modelo para reconhecimento da fala, como por o exemplo o Vosk. Com ele você consegue adicionar ao modelo termos específicos para serem reconhecidos.
Segue o link do projeto:
https://alphacephei.com/vosk/models
Também aqui na plataforma termos um módulo do curso Classificação de Áudio com Python: O Guia Completo sobre como utilizar o modelo Vosk, vale a pena conferir.