前词

Token 在人工智能与大模型领域特指将连续文本流离散化为最小处理单元的过程与结果。它并非简单的字符或单词切分，而是基于预训练模型词表（Vocabulary）的索引映射，将任意文本转化为模型可识别的整数序列。这一概念超越了传统编译原理中的词法分析单元，演变为大模型推理与训练的基础数据载体。在工程实践中，Token 不仅是模型理解语义的原子，更是计算成本（如显存占用、推理延迟）的直接度量衡，其数量直接决定了模型的吞吐量与响应速度。

在现代计算架构中，Token 扮演着‘数据翻译官’与‘价值锚点’的双重角色。从技术生态看，它是大模型输入输出的标准化接口，决定了模型对长文本的压缩能力与上下文窗口效率；从商业生态看，它是云服务商计费的核心依据，也是 Web3.0 领域数字资产发行的基础单位。随着多模态大模型的发展，Token 的定义正从纯文本向图像、音频等多模态信号扩展，成为跨模态信息处理的通用度量标准。其核心价值在于将非结构化的自然语言转化为机器可执行的离散符号，从而实现了从‘理解语言’到‘计算语言’的范式转变。