Olá Breno!
Para resolver isso você pode usar em conjunto ao tracking um detector de objetos preciso como o YOLO. Usando um detector de objetos você consegue filtrar bem qual a classe do objeto que deseja fazer o tracking e evitar que apareça objetos distintos.
Aliás, para facilitar tem um repositório que já implementa essas duas técnicas juntas, dê uma olhada: https://github.com/ankit16-py/YOLOv3-KCF-Fast-Object-Tracker