应用旋转位置嵌入

RoPE（Rotary Positional Embeddings）由Jia等人在2021年提出，旨在解决传统绝对位置编码（如Sinusoidal）在长序列下信息衰减及微调灾难性遗忘的问题。其核心在于将位置编码参数化为旋转矩阵，使得任意两个位置之间的相对关系在数学上保持不变，从而实现了位置信息的参数化与可学习化。该技术不仅保留了绝对位置信息的可微性，还允许模型在微调阶段通过调整旋转角度来适应新任务，有效缓解了位置编码与任务特定特征之间的冲突。

在现代大语言模型架构中，RoPE已成为主流位置编码方案，彻底改变了Transformer处理长文本的方式。它通过引入旋转矩阵，将位置信息转化为查询和键向量的相位差，使得模型能够感知相对位置而非绝对位置。这种机制不仅大幅提升了模型在长上下文窗口下的表现，还因其参数化特性，使得模型在微调时能更好地适应下游任务，避免了传统方法中位置编码被任务特征覆盖的问题。RoPE已成为如Llama、Qwen等主流模型的标配组件，推动了大模型在长文档理解、代码生成等复杂场景的突破。