Olá Nelson!
A biblioteca librosa possue a função librosa.effects.trim para remover o silêncio em arquivos de áudio.
Sobre sua outra pergunta, em ‘como lidar com gravações longas utilizando a mesma estratégia de janelas deslizantes’, mais a frente aqui no curso tem um exemplo que trata exatamente isso. É um conteúdo complementar, segue o link da aula: Complementar: previsão por frames