Responder a: Tokenização em português com BERT

#21474
Danilo
Participante

oi Jones, obrigado

como adapto aquele arquivo pré treinado ao modelo?

No código, usamos um link:

 self.bert_layer = hub.KerasLayer('https://tfhub.dev/tensorflow/bert_en_uncased_L-12_H-768_A-12/1',
trainable = False)

qual destes arquivos devo baixar e como o adapto para o código acima?

TensorFlow checkpoint/PyTorch checkpoint/Vocabulary

BERTimbau Base (aka bert-base-portuguese-cased)

BERTimbau Large (aka bert-large-portuguese-cased)