扩张注意力

扩张注意力（Dilated Attention）是Transformer架构中针对长序列处理效率问题提出的一种关键优化策略。其核心思想借鉴自空洞卷积（Dilated Convolution），通过在自注意力机制的掩码或采样过程中引入扩张因子（Dilation Rate），使得模型能够以指数级增长的感受野覆盖序列，而无需增加二次方级的计算复杂度。该技术本质上是在保留全局上下文感知能力的同时，将时间复杂度从O(N^2)降低至O(N)，从而使得处理超长上下文成为可能，是构建高效大语言模型的重要基石之一。

在现代计算架构中，扩张注意力扮演着平衡模型规模与推理成本的关键角色。随着大模型对上下文窗口（Context Window）需求的指数级增长，传统的标准自注意力机制因计算量爆炸而难以落地。扩张注意力通过稀疏化采样策略，打破了感受野与计算量之间的线性束缚，使得模型能够在有限的硬件资源下处理数十万甚至数百万级的Token序列。它不仅提升了训练效率，更直接赋能了长文档理解、代码生成及多模态长视频分析等前沿场景，成为当前大模型架构演进中不可或缺的技术组件。