Olá Caio!
Isso acontece quando o valor de threshold é extremamente baixo, pois ele passa a exibir todas as caixas detectadas sem filtrá-las com base no score.
Qual valor de limiar você passou? Poderia me passar o comando exato? Tente com diferentes valores.
E também teste a implementação com OpenCV e observe se o problema continua, mas acredito que seja apenas na implementação do darknet, pode ser algum detalhe quando à sintaxe do comando. Mas se o problema persistir e você conferiu realmente se está tudo certo essas questões, pode ser até mesmo algum tipo de bug que ocorre em algumas versões muito específicas do MacOS por exemplo, nesse caso teria que ver qual a sua versão e até reinstalar o repositório se possível.