梯度检查点

梯度检查点（Gradient Checkpointing）是深度学习训练阶段的一种关键内存优化策略，旨在解决大模型训练中激活值（Activation）存储导致的显存瓶颈。其核心思想违背传统的全程缓存机制，在反向传播过程中，针对特定的计算图节点，有选择性地丢弃中间激活值，并在需要计算梯度时重新执行前向传播以恢复该值。这种‘空间换时间’的权衡策略，通常能将显存占用降低 40% 至 60%，但会导致反向传播速度下降 20% 至 30%。该技术已成为训练千亿级参数模型及长序列任务的标准配置，并在 PyTorch 等主流框架中通过 `torch.utils.checkpoint` 等工具链得到广泛支持。

在现代计算架构中，梯度检查点扮演着‘显存守门人’的角色，它是突破大模型训练显存墙的关键技术之一。随着模型参数量与序列长度的指数级增长，传统的全缓存（Full Cache）策略已无法满足硬件限制，梯度检查点通过重构计算图，实现了显存效率的质变。它不仅适用于 Transformer 架构的大语言模型训练，也是处理长文本、长视频生成等计算密集型任务的首选方案。尽管引入了计算冗余，但其带来的显存释放效应使其成为当前大模型工程落地不可或缺的组件，推动了模型从‘能跑’向‘高效跑’的演进。