广义优势估计 (GAE)

广义优势估计（Generalized Advantage Estimation, GAE）是强化学习领域中用于解决传统优势估计方法（如蒙特卡洛估计方差大、时序差分估计有偏）缺陷的一种理论框架与工程范式的统称。它不特指某一种固定公式，而是指代一系列旨在平衡优势估计的偏差（Bias）与方差（Variance）的技术路径，其核心思想是通过引入截断机制或加权平滑策略，将离散的时序差分更新转化为连续或分段连续的优势函数近似，从而在样本效率与估计稳定性之间取得最优解。

在现代深度强化学习生态中，广义优势估计扮演着连接基础理论与工业级应用的关键桥梁角色。它打破了传统算法对特定数据分布的强依赖，使得基于Actor-Critic架构的算法（如PPO、SAC）能够高效处理高维连续动作空间及非平稳环境。从学术演进看，它解决了蒙特卡洛方法收敛慢与TD方法偏差大的矛盾；从工程落地看，它是实现大规模多智能体协同、机器人控制及游戏AI的核心基石，其灵活性与鲁棒性使其成为当前RLS（Reinforcement Learning with State）架构的首选标准组件。