Tokenização em português com BERT

[Danilo]

olá, sobre a aula de sentimentos com BERT, estou tentando fazer um exemplo com tweets em português.

Infelizmente no site https://tfhub.dev/ não encontrei os modelos com os pesos em português.

Existe alguma alternativa para este caso?

 

 

 

 

[Jones Granatyr]

Olá Danilo,

Diretamente no TensorFlow acredito que não tenha mesmo. Veja este link

https://github.com/neuralmind-ai/portuguese-bert

Jones

[Danilo]

oi Jones, obrigado

como adapto aquele arquivo pré treinado ao modelo?

No código, usamos um link:

 self.bert_layer = hub.KerasLayer('https://tfhub.dev/tensorflow/bert_en_uncased_L-12_H-768_A-12/1',
trainable = False)

qual destes arquivos devo baixar e como o adapto para o código acima?

TensorFlow checkpoint/PyTorch checkpoint/Vocabulary

BERTimbau Base (aka bert-base-portuguese-cased)

BERTimbau Large (aka bert-large-portuguese-cased)

[Jones Granatyr]

Pior que não sei dizer ao certo, que não cheguei a testar essa versão em PT 🙁

Acho que ela apareceu depois que o curso foi gravado

[Jefferson]

Jones,

Boa tarde,

Você tem alguma aula indicando como podemos criar nosso próprio modelo, com os pesos e ajustes ?

E é possível irmos incrementando o modelo adicionando dados, para por exemplo deixar ele rodando com um web crawler e ir aprendendo de determinadas buscas que queremos ?

Se puder orientar se existe algo, talvez em algum dos seus cursos, ou nesse e que possa ser usado também com a arquitetura do BERT e para chat bots, com outras arquiteturas eu agradeço demais.

Abraços,

[Jones Granatyr]

Olá Jefferson,

Já respondi lá no outro tópico

Jones

[Bruno Corazza]

Boa tarde pessoal!

Alguém conseguiu fazer o modelo em PT usando base do BERTimbau?

[Fábio Spak]

Olá Bruno, ainda não implementamos por aqui 🙁

Você pode consultar algumas informações nesses ebook da Springer, mas é pago…

https://link.springer.com/chapter/10.1007/978-3-030-61377-8_28

Fabio

[razera]

Prezado Fabio, seria interessante um complemento no curso, enfrento mesmo caso que os colegas, comprei o curso para uso em português até chego a lhe fazer uma sugestão, sendo essa a língua do curso os exemplos deveriam ser usando textos na língua portuguesa. Caso seja possível crie um complemento e exemplo para uso em português. Obrigado

[Jones Granatyr]

Obrigado pela sugestão! Vamos considerar fazer um módulo adicional

[razera]

Obrigado, teria como disponibilizar até lá, somente um script anotado, como faria para para fazer um treinamento não pelo squad mais sim por um arquivo csv.

[Denny Ceccon]

Vamos considerar isso em uma atualização do curso.

[Autor]

Posts