Tokenização em português com BERT

Home Fóruns Fórum Processamento de Linguagem Natural com BERT e Python Tokenização em português com BERT

Marcado: 

Visualizando 6 posts - 1 até 6 (de 6 do total)
  • Autor
    Posts
  • #21463
    Danilo
    Participante

    olá, sobre a aula de sentimentos com BERT, estou tentando fazer um exemplo com tweets em português.

    Infelizmente no site https://tfhub.dev/ não encontrei os modelos com os pesos em português.

    Existe alguma alternativa para este caso?

     

     

     

     

    #21468

    Olá Danilo,

    Diretamente no TensorFlow acredito que não tenha mesmo. Veja este link

    https://github.com/neuralmind-ai/portuguese-bert

    Jones

    #21474
    Danilo
    Participante

    oi Jones, obrigado

    como adapto aquele arquivo pré treinado ao modelo?

    No código, usamos um link:

     self.bert_layer = hub.KerasLayer('https://tfhub.dev/tensorflow/bert_en_uncased_L-12_H-768_A-12/1',
    trainable = False)

    qual destes arquivos devo baixar e como o adapto para o código acima?

    TensorFlow checkpoint/PyTorch checkpoint/Vocabulary

    BERTimbau Base (aka bert-base-portuguese-cased)

    BERTimbau Large (aka bert-large-portuguese-cased)

    #21477

    Pior que não sei dizer ao certo, que não cheguei a testar essa versão em PT 🙁

    Acho que ela apareceu depois que o curso foi gravado

    #22580
    Jefferson
    Participante

    Jones,

    Boa tarde,

    Você tem alguma aula indicando como podemos criar nosso próprio modelo, com os pesos e ajustes ?

    E é possível irmos incrementando o modelo adicionando dados, para por exemplo deixar ele rodando com um web crawler e ir aprendendo de determinadas buscas que queremos ?

    Se puder orientar se existe algo, talvez em algum dos seus cursos, ou nesse e que possa ser usado também com a arquitetura do BERT e para chat bots, com outras arquiteturas eu agradeço demais.

    Abraços,

    #22599

    Olá Jefferson,

    Já respondi lá no outro tópico

    Jones

Visualizando 6 posts - 1 até 6 (de 6 do total)
  • Você deve fazer login para responder a este tópico.