tokenizers、stringbuilder的常用方法

1、要将其作为一个整洁的数据集来处理，还需要将句子转化成文更加基本的格式此函数使用tokenizers包将原始数据框中的每一行文本分隔为标记默认标记化用于单词，但其他选项包括字符，ngram，句子，行，段落或正则表达式模式。2、原因有说是词典太大，耗时hours才加载出来我也没有真的等到过暂