Olá Jose!
Para identificar a voz de cada pessoa, sugiro treinar um algoritmo de classificação/reconhecimento de vozes. Em resumo, você terá de criar uma base de dados com a voz da pessoa que você deseja reconhecer (quanto maior a quantidade de áudios, melhor será o resultado da classificação) e outra com vozes de diferente pessoas, realizar todas as etapas de treinamento e avaliação do modelo. Feito isso, você pode iniciar este processo de reconhecimento detectando se o som ambiente são de pessoas falando e depois aplicar seu modelo de reconhecimento de voz.