嵌入表

嵌入表（Embedding Lookup Table）是一种用于将离散符号（如词汇、类别标签、对象ID）转换为连续向量表示的稠密矩阵结构。在深度学习与大模型架构中，它充当了从符号空间到连续向量空间的桥梁，使得非数值数据能够被神经网络处理。其核心在于预定义或在线学习一组基向量，通过索引查找获取对应语义向量，从而将离散的、不可微的符号转化为连续的、可微分的数学对象，为后续的语义计算、相似度度量及参数更新提供基础支撑。

在现代计算架构中，嵌入表不仅是数据格式转换的工具，更是模型语义能力的载体。随着大语言模型（LLM）的演进，其规模与复杂度呈指数级增长，嵌入表作为模型参数量占比最大的组件之一，直接决定了模型的初始化质量与推理效率。它支撑着从传统的词向量（Word2Vec）到现代Transformer架构中的Token Embedding，是连接底层数据输入与高层语义推理的核心枢纽。在工程实践中，它平衡了存储成本与计算速度，是构建高效、可解释人工智能系统不可或缺的基础设施。