初始向量 (IV)

在人工智能与大模型语境下，初始向量（Initial Vector）特指神经网络（如全连接层、RNN 或 Transformer 的嵌入层）在训练开始前，对权重矩阵或状态向量赋予的初始数值。尽管词源上常与密码学中的“初始向量”混淆，但此处指代的是机器学习中的权重初始化策略。其核心作用在于打破网络结构的对称性，防止梯度消失或爆炸，并引导优化算法（如 SGD、Adam）从随机起点快速收敛至有效解。现代大模型架构中，初始向量的分布特性（如高斯分布、Xavier 或 He 初始化）直接决定了模型训练的稳定性与最终性能上限。

初始向量作为深度学习的“起跑线”，在现代计算架构中扮演着基石角色。它不仅决定了模型能否成功启动训练，还深刻影响着训练速度、收敛路径及最终泛化能力。在大模型时代，随着参数量呈指数级增长，初始向量的精细化设计（如针对 Transformer 的特定初始化方案）已成为提升模型效率与性能的关键环节。其生态地位体现在它是连接数据输入与模型输出的第一道桥梁，任何微小的初始化偏差都可能被深层网络放大，导致训练失败或性能瓶颈。