Tokenização em português com BERT

Home Fóruns Fórum Processamento de Linguagem Natural com BERT e Python Tokenização em português com BERT

Marcado: 

Visualizando 11 posts - 1 até 11 (de 11 do total)
  • Autor
    Posts
  • #21463
    Danilo
    Participante

      olá, sobre a aula de sentimentos com BERT, estou tentando fazer um exemplo com tweets em português.

      Infelizmente no site https://tfhub.dev/ não encontrei os modelos com os pesos em português.

      Existe alguma alternativa para este caso?

       

       

       

       

      #21468
      Jones Granatyr
      Moderador

        Olá Danilo,

        Diretamente no TensorFlow acredito que não tenha mesmo. Veja este link

        https://github.com/neuralmind-ai/portuguese-bert

        Jones

        #21474
        Danilo
        Participante

          oi Jones, obrigado

          como adapto aquele arquivo pré treinado ao modelo?

          No código, usamos um link:

           self.bert_layer = hub.KerasLayer('https://tfhub.dev/tensorflow/bert_en_uncased_L-12_H-768_A-12/1',
          trainable = False)

          qual destes arquivos devo baixar e como o adapto para o código acima?

          TensorFlow checkpoint/PyTorch checkpoint/Vocabulary

          BERTimbau Base (aka bert-base-portuguese-cased)

          BERTimbau Large (aka bert-large-portuguese-cased)

          #21477
          Jones Granatyr
          Moderador

            Pior que não sei dizer ao certo, que não cheguei a testar essa versão em PT 🙁

            Acho que ela apareceu depois que o curso foi gravado

            #22580
            Jefferson
            Participante

              Jones,

              Boa tarde,

              Você tem alguma aula indicando como podemos criar nosso próprio modelo, com os pesos e ajustes ?

              E é possível irmos incrementando o modelo adicionando dados, para por exemplo deixar ele rodando com um web crawler e ir aprendendo de determinadas buscas que queremos ?

              Se puder orientar se existe algo, talvez em algum dos seus cursos, ou nesse e que possa ser usado também com a arquitetura do BERT e para chat bots, com outras arquiteturas eu agradeço demais.

              Abraços,

              #22599
              Jones Granatyr
              Moderador

                Olá Jefferson,

                Já respondi lá no outro tópico

                Jones

                #28509
                Bruno Corazza
                Participante

                  Boa tarde pessoal!

                  Alguém conseguiu fazer o modelo em PT usando base do BERTimbau?

                  #28514
                  Fábio Spak
                  Participante

                    Olá Bruno, ainda não implementamos por aqui 🙁

                    Você pode consultar algumas informações nesses ebook da Springer, mas é pago…

                    https://link.springer.com/chapter/10.1007/978-3-030-61377-8_28

                    Fabio

                    #39561
                    razera
                    Participante

                      Prezado Fabio, seria interessante um complemento no curso, enfrento mesmo caso que os colegas, comprei o curso para uso em português até chego a lhe fazer uma sugestão, sendo essa a língua do curso os exemplos deveriam ser usando textos na língua portuguesa. Caso seja possível crie um complemento e exemplo para uso em português. Obrigado

                      #39571
                      Jones Granatyr
                      Moderador

                        Obrigado pela sugestão! Vamos considerar fazer um módulo adicional

                        #39615
                        razera
                        Participante

                          Obrigado, teria como disponibilizar até lá, somente um script anotado, como faria para para fazer um treinamento não pelo squad mais sim por um arquivo csv.

                        Visualizando 11 posts - 1 até 11 (de 11 do total)
                        • Você deve fazer login para responder a este tópico.