挤压函数

在深度学习中，挤压函数（Squashing Function）是一种特殊的非线性激活函数，其核心设计目标是将任意维度的向量压缩至一个固定的低维空间（如 R^d），同时保持向量的方向信息。该函数最早由 Bengio 等人提出，用于解决深度神经网络中梯度消失和梯度爆炸的难题。与传统的 Sigmoid 或 Tanh 不同，挤压函数不仅对单个神经元进行激活，而是对向量整体进行几何变换，确保输出向量始终位于单位超球面或特定流形上，从而在保持方向一致性的同时限制模长，为后续层提供稳定的输入分布。

挤压函数在现代计算架构中扮演着优化深层网络梯度的关键角色，特别是在处理高维特征提取和序列建模任务时。它通过强制向量模长收敛，有效缓解了深层网络中常见的梯度消失现象，使得模型能够训练更深的层级结构。尽管其计算复杂度略高于标准激活函数，但在需要严格保持向量方向信息且对模长敏感的场景下，它是构建稳定、高效深度模型的重要工具。其生态地位体现在对传统激活函数的补充，为处理非欧几里得空间或流形约束的神经网络提供了数学基础。