Fabio, boa noite
kra não estou, na verdade eu peguei algumas partes e estou tentando fazer, até pra ver se consegui entender a ideia, mas deixa eu te falar, acabou que consegui resolver o problema, na verdade era um erro da minha parte.
de tanto acontecer uma vez ou outra, pois como eu disse não era sempre que ocorria, eu consegui identificar um padrão no erro e vi que era toda vez que minha base mudava, ou seja que entrava dados novos.
deixa eu explica melhor, eu fiz um código que aprende a melhorar o treinamento, misturei um pouco de aprendizado por reforço na parte do treinamento.
com isso esqueci de atualizar alguns parâmetros, dentre eles o da Tokenização ai por consequência o “tokenizer.vocab_size” ficava diferente do treinamento anterior causando o erro e me induzindo a achar que era por conta da Tokenização.
ajustei o parâmetro e nunca mais teve o erro.
gratidão pela atenção