字符流转变为标记

Token（词元）在人工智能与大模型语境下，指将连续的非结构化数据（如文本、代码、图像）离散化为模型可处理的最小语义单元的过程与结果。它超越了传统语言学中的“词”或“字符”概念，是一种基于统计概率的符号化表示。在大模型架构中，Token 不仅是模型进行前向传播与反向传播的输入输出载体，更是决定模型上下文窗口大小、推理延迟及计算成本的关键计量单位。其本质是将无限连续的信息空间映射为有限离散的状态空间，使神经网络能够高效地捕捉语言结构与语义逻辑。

在现代大模型生态中，Token 扮演着‘数据原子’与‘价值锚点’的双重角色。从技术架构视角看，它是模型理解世界的基石，决定了模型对复杂指令的解析精度与泛化能力；从工程经济视角看，它是云厂商计费与资源调度的核心依据，直接关联到推理成本与延迟。随着多模态大模型的发展，Token 的概念已从单纯的文本分词扩展至图像块（Image Block）与音频帧的抽象表示，成为衡量模型智能密度与商业价值的通用标尺。掌握 Token 的编码策略与压缩技术，是优化大模型应用性能与降低成本的关键。