硬注意力

硬注意力（Hard Attention）是序列模型中一种非平滑的注意力机制，其核心在于模型在每一步仅能关注输入序列中的单一或有限个离散位置，而非连续分布。该机制通过显式地最大化预测概率来动态选择关键位置，本质上是一种离散化的注意力策略。与软注意力不同，硬注意力避免了梯度消失问题，但在训练稳定性与泛化能力上存在显著差异，常用于强化学习结合或特定稀疏场景。

在现代计算架构与人工智能领域，硬注意力作为软注意力的重要变体，填补了连续注意力机制在离散决策场景下的空白。它特别适用于强化学习中的动作选择、稀疏数据建模以及需要精确位置感知的任务。尽管其训练过程可能面临局部最优与梯度稀疏的挑战，但在特定架构如 Transformer 的变体及强化学习代理中，硬注意力提供了更明确的决策边界与可解释性，成为构建高效、可控智能系统的关键组件之一。