词袋模型

词袋模型（Bag of Words, BoW）是一种经典的机器学习特征表示范式，其核心思想是将非结构化数据（如文本句子或图像块）抽象为无序的词汇集合。该模型不关注词语之间的语法关系、句法结构或语义上下文，仅依据词汇表中的词频分布来构建数据特征向量。其数学本质是将离散符号映射为高维空间中的稀疏向量，通常结合 TF-IDF 等加权策略以增强特征区分度。作为连接原始数据与机器学习算法的桥梁，词袋模型在 20 世纪 50 年代由 Zellig Harris 提出，并在后续数十年中成为文本分类、信息检索及早期计算机视觉任务的标准预处理手段。

在现代计算架构中，词袋模型扮演着‘特征工程基石’的关键角色，尽管其语义表达能力有限，但其计算效率极高且实现简单，使其在资源受限或实时性要求高的场景下依然具有不可替代的价值。它成功地将复杂的非结构化数据转化为机器可理解的数值矩阵，为后续的线性分类器（如 SVM、逻辑回归）提供了理想的输入空间。在生态位上，词袋模型是理解更高级语义模型（如 Word2Vec、BERT）的起点，其‘忽略顺序’的特性使其在处理大规模语料库时具有天然的扩展优势。尽管面临语义丢失的局限，但在文本分类、垃圾邮件过滤、关键词提取及图像检索等特定任务中，经过优化的词袋模型仍是工业界首选的轻量级解决方案。