tokenizer，tokenizer truncation

1理解TokenToken是一种数据结构，它在计算机科学中广泛应用于各种场景，比如在编程语言中代表文本中的一个元素，如关键字标识符或符号2解释TokenizeTokenize是一个过程，即将文本分割成一系列的Token这个过程通常在编译器的词法分析阶段进行，用于识别源代码中的基本元素3说明To