Olá Roberto!
Poderia compartilhar seu script e (se for possível) mandar uma cópia ou link do vídeo que você está testando? Já usei este algoritmo com vídeos nesta qualidade e a princípio não tive problemas, por isso imagino que pode ser algo na codificação, talvez o rastreador não está sendo inicializado ou atualizado para o frames subsequentes.