子词分词

子词分词（Subword Tokenization）是自然语言处理中一种基于统计学的文本离散化策略，旨在克服传统词表（Word-level）无法处理未知词（OOV）及长尾词汇的缺陷。该技术通过预训练模型（如 BERT、GPT）或特定算法（如 WordPiece、BPE）将字符或字节序列重组为固定大小的子词单元，形成包含常见词、子词及特殊标记的混合词汇表。其核心在于利用上下文信息或局部统计规律，将低频词拆解为高频子词组合，从而在保持语义完整性的同时，显著降低训练数据中的词汇稀疏性，是现代大语言模型（LLM）不可或缺的基础组件。

在现代计算架构中，子词分词扮演着连接原始文本与神经网络接口的关键桥梁角色。它不仅是模型训练阶段解决数据分布偏移（Data Distribution Shift）的核心手段，也是推理阶段实现高效序列生成的前提。相较于传统的词表分词，子词分词通过引入动态拼接机制，极大地提升了模型对未见词汇的泛化能力，同时通过限制子词表大小（Vocabulary Size）优化了内存占用与计算延迟。在生态位上，它已成为 Transformer 架构及其衍生模型的标准配置，支撑着从预训练到微调的全流程，是构建高鲁棒性、高适应性人工智能系统的基础设施。