tokenizertruncation的简单介绍

tranformers中的模型在使用之前需要进行分词和编码，每个模型都会自带分词器tokenizer，熟悉分词器的使用将会提高模型构建的效率stringtokens；huggingfacetokenizervocab，encode，decode原理及细节，动手写bert系列BertTo