梯度激增

梯度激增（Exploding Gradient）是指在深度神经网络训练过程中，由于权重参数过大或激活函数特性，导致反向传播时计算出的梯度数值呈指数级增长，远超数值稳定范围。这种现象通常发生在深层网络中，使得损失函数在参数空间剧烈震荡，导致模型无法收敛甚至训练崩溃。其本质是误差信号在反向传播过程中被过度放大，破坏了梯度下降算法的稳定性。

在现代大模型架构中，梯度激增是制约网络深度与训练稳定性的关键瓶颈。随着模型层数增加和参数规模扩大，传统梯度下降法极易触发此问题，导致训练失败。解决梯度激增不仅关乎算法收敛，更直接影响模型的表达能力与泛化性能。当前主流方案包括梯度裁剪、权重初始化优化及激活函数调整，这些措施共同构成了大模型训练稳定性的基石。