Olá Rodrigo!
O código fonte do converter_annotations.py está correto na verdade então não deveria ocorrer esse erro, por isso to achando que é outra coisa.
Antes só confira se os nomes das classes dentro do arquivo classes.txt estão escritos corretamente.
Por exemplo, o nome da xícara precisa estar exatamente assim Coffee cup, com apenas a primeira maiúscula.
Só estou comentando pois imagino que o motivo desse erro possa ser esse, já que ali na mensagem diz que não conseguiu converter o nome da classe para float, só que nessa linha onde ocorreu o erro o nome da classe já deveria ter sido substituído pelo ID dela (nesse exemplo, “1”) então se ele não conseguiu substituir é provavelmente porque não encontrou o nome correspondente dentro do .txt. Ou também porque não conseguiu ler o conteúdo do .txt, pode ser isso também, por isso é bom só verificar se o .txt está com o conteúdo certo e no diretório correto.
Caso você tenha verificado isso e esteja tudo correto mesmo peço que se possível compartilhe seu Colab por aqui para eu dar uma olhada, assim consigo ver melhor o que mais poderia estar acontecendo no seu arquivo que possa ocasionar esse problema.