Olá Felix!
O que eu mais recomendo para o seu caso seria então fazer uma detecção de cor posteriormente à detecção do objeto. Ou seja, não treinar o modelo para reconhecer bolas de cores diferentes como classes individuais (ex: 1 = bola vermelha; 2 = bola azul, etc.) mas sim treiná-lo para reconhecer o objeto independente da cor (ex: classe 1 = bola).
Ou seja, até aí seria exatamente como está sendo agora, utilizar o YOLO para detectar o(s) objeto(s) na imagem. Após fazer essa detecção, você pode implementar uma técnica que irá extrair qual é a cor mais predominante, para cada uma das regiões de interesse (área dentro da caixa delimitadora do objeto localizado).
Tem esse tutorial aqui que explica muito bem como fazer essa detecção de cor.
Encontrei também esse código completo se você quiser implementar: https://pastebin.com/WVhfmphS
