离线策略

离线策略（Off-Policy）是强化学习中的核心算法范式，指在训练最优策略时，所使用的数据样本是由任意其他策略（行为策略）生成的，而非由当前正在学习的策略产生。该概念最早由 Sutton 和 Barto 在《强化学习》中系统阐述，其核心在于将“数据收集”与“策略学习”两个过程解耦。与在线策略（On-Policy）不同，离线策略允许使用历史数据、专家演示数据或来自不同环境的经验进行训练，极大地提升了算法在数据稀缺、环境动态变化或无法实时交互场景下的泛化能力与效率。

在现代智能体决策系统中，离线策略已成为解决高维状态空间、长时程任务及数据获取受限问题的关键工具。其核心价值在于打破了传统强化学习必须实时与环境交互的刚性约束，使得利用海量历史轨迹数据进行离线训练成为可能。在自动驾驶、机器人控制及游戏 AI 等领域，离线策略通过复用专家数据或仿真数据，显著降低了试错成本与安全风险。然而，其应用也面临分布偏移（Distribution Shift）与数据质量依赖等严峻挑战，要求算法具备强大的数据预处理与策略评估能力，以确保训练出的策略在真实部署时的鲁棒性。