Tokenização em português com BERT

Home Fóruns Fórum Processamento de Linguagem Natural com BERT e Python Tokenização em português com BERT

Marcado: 

Visualizando 11 posts - 1 até 11 (de 11 do total)
  • Autor
    Posts
  • #21463
    Danilo
    Participante

    olá, sobre a aula de sentimentos com BERT, estou tentando fazer um exemplo com tweets em português.

    Infelizmente no site https://tfhub.dev/ não encontrei os modelos com os pesos em português.

    Existe alguma alternativa para este caso?

     

     

     

     

    #21468

    Olá Danilo,

    Diretamente no TensorFlow acredito que não tenha mesmo. Veja este link

    https://github.com/neuralmind-ai/portuguese-bert

    Jones

    #21474
    Danilo
    Participante

    oi Jones, obrigado

    como adapto aquele arquivo pré treinado ao modelo?

    No código, usamos um link:

     self.bert_layer = hub.KerasLayer('https://tfhub.dev/tensorflow/bert_en_uncased_L-12_H-768_A-12/1',
    trainable = False)

    qual destes arquivos devo baixar e como o adapto para o código acima?

    TensorFlow checkpoint/PyTorch checkpoint/Vocabulary

    BERTimbau Base (aka bert-base-portuguese-cased)

    BERTimbau Large (aka bert-large-portuguese-cased)

    #21477

    Pior que não sei dizer ao certo, que não cheguei a testar essa versão em PT 🙁

    Acho que ela apareceu depois que o curso foi gravado

    #22580
    Jefferson
    Participante

    Jones,

    Boa tarde,

    Você tem alguma aula indicando como podemos criar nosso próprio modelo, com os pesos e ajustes ?

    E é possível irmos incrementando o modelo adicionando dados, para por exemplo deixar ele rodando com um web crawler e ir aprendendo de determinadas buscas que queremos ?

    Se puder orientar se existe algo, talvez em algum dos seus cursos, ou nesse e que possa ser usado também com a arquitetura do BERT e para chat bots, com outras arquiteturas eu agradeço demais.

    Abraços,

    #22599

    Olá Jefferson,

    Já respondi lá no outro tópico

    Jones

    #28509
    Bruno Corazza
    Participante

    Boa tarde pessoal!

    Alguém conseguiu fazer o modelo em PT usando base do BERTimbau?

    #28514

    Olá Bruno, ainda não implementamos por aqui 🙁

    Você pode consultar algumas informações nesses ebook da Springer, mas é pago…

    https://link.springer.com/chapter/10.1007/978-3-030-61377-8_28

    Fabio

    #39561
    razera
    Participante

    Prezado Fabio, seria interessante um complemento no curso, enfrento mesmo caso que os colegas, comprei o curso para uso em português até chego a lhe fazer uma sugestão, sendo essa a língua do curso os exemplos deveriam ser usando textos na língua portuguesa. Caso seja possível crie um complemento e exemplo para uso em português. Obrigado

    #39571

    Obrigado pela sugestão! Vamos considerar fazer um módulo adicional

    #39615
    razera
    Participante

    Obrigado, teria como disponibilizar até lá, somente um script anotado, como faria para para fazer um treinamento não pelo squad mais sim por um arquivo csv.

Visualizando 11 posts - 1 até 11 (de 11 do total)
  • Você deve fazer login para responder a este tópico.