Home › Fóruns › Fórum Sumarização de Textos com Processamento de Linguagem Natural › Dúvida Tokenização › Responder a: Dúvida Tokenização
11 de maio de 2021 às 22:05 #28874
Mestre
Olá Flávio, você pode tentar substituir as vírgulas por ponto e em seguida realizar a tokenização. Veja nesse link como fazer isso nesse link. Adicionalmente, encontrei essa página do NLTK com diversos recursos relacionados a essa etapa.
Fabio