Rotary Offset Features in Large Language Models

📄 arXiv: 2503.01832v2 📥 PDF

作者: André Jonasson

分类: cs.CL, cs.LG

发布日期: 2025-03-03 (更新: 2025-08-22)

💡 一句话要点

揭示LLM中Rotary Embedding的Offset Features，并提供预测方法

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 旋转位置编码 RoPE 注意力机制 位置编码 偏移特征 Transformer模型

📋 核心要点

  1. 现有LLM依赖位置编码，但旋转位置编码(RoPE)的特性尚不明确，存在异常激活现象。
  2. 论文提出“旋转偏移特征”概念，分析RoPE在queries和keys中产生的特定模式。
  3. 通过理论推导和实验验证，论文预测了偏移特征产生的频率和query-key对的最小角度。

📝 摘要（中文）

基于Transformer的大型语言模型（LLM）依赖于位置编码，以便向其注意力机制提供序列位置信息。旋转位置编码（RoPE）通过旋转queries和keys来编码相对位置，已在现代LLM中得到广泛应用。本文研究了使用旋转嵌入时queries和keys中出现的特征和模式，并引入了旋转偏移特征的概念。我们的分析表明，这些特征经常表现出较大的激活，并且通常被解释为异常值，但它们在不同层、注意力头和模型架构中始终如一地出现。我们推导了预测哪些旋转频率会产生旋转偏移特征的边界，以及这些特征的query-key对之间的最小角度。我们在不同大小和架构的模型中实证验证了我们的预测。

🔬 方法详解

问题定义：论文旨在解决大型语言模型（LLM）中使用旋转位置编码（RoPE）时，queries和keys中出现的异常激活问题。这些激活通常被视为离群值，但其内在机制和产生原因尚不清楚。现有方法缺乏对这些异常激活的系统性分析和预测能力，阻碍了对RoPE更深入的理解和优化。

核心思路：论文的核心思路是深入分析RoPE的数学特性，揭示queries和keys在旋转嵌入空间中形成的特定模式。通过引入“旋转偏移特征”的概念，将这些异常激活与特定的旋转频率联系起来。论文认为，这些偏移特征并非随机噪声，而是RoPE固有的属性，可以通过理论推导进行预测。

技术框架：论文的研究框架主要包括以下几个阶段：1) 观察并定义旋转偏移特征；2) 通过数学推导，建立旋转频率与偏移特征之间的关系模型，预测哪些频率会产生偏移特征；3) 推导query-key对之间最小角度的理论边界；4) 在不同大小和架构的LLM上进行实验验证，验证理论预测的准确性。

关键创新：论文最重要的技术创新点在于提出了“旋转偏移特征”这一概念，并建立了其与旋转频率之间的理论联系。与以往将这些异常激活视为噪声的处理方式不同，论文将其视为RoPE的固有属性，并提供了预测其产生的理论框架。这种新的视角为理解和优化RoPE提供了新的思路。

关键设计：论文的关键设计包括：1) 对RoPE的旋转矩阵进行深入的数学分析，推导出偏移特征产生的条件；2) 设计实验验证理论预测的准确性，包括选择不同大小和架构的LLM，以及分析不同层和注意力头的激活情况；3) 使用可视化的方法展示旋转偏移特征的分布和模式。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文通过理论推导预测了旋转偏移特征的产生条件，并在不同大小和架构的LLM上进行了实验验证。实验结果表明，理论预测与实际观察高度吻合，验证了论文提出的理论框架的有效性。具体而言，论文成功预测了哪些旋转频率会产生偏移特征，以及query-key对之间的最小角度。

🎯 应用场景

该研究成果可应用于大型语言模型的优化和改进，例如通过调整旋转频率来减少偏移特征的产生，从而提高模型的稳定性和性能。此外，该研究也有助于更好地理解位置编码在Transformer模型中的作用，为设计更有效的编码方法提供理论指导。未来，该研究或可扩展到其他类型的旋转编码或注意力机制。

📄 摘要（原文）

Transformer-based Large Language Models (LLMs) rely on positional encodings to provide sequence position information to their attention mechanism. Rotary Positional Encodings (RoPE), which encode relative position by rotating queries and keys, have become widely used in modern LLMs. We study the features and patterns that emerge in queries and keys when using rotary embeddings and introduce the concept of rotary offset features. Our analysis reveals that these features, which frequently exhibit large activations and are often interpreted as outliers, arise consistently across layers, attention heads, and model architectures. We derive bounds predicting which rotary frequencies give rise to rotary offset features and the minimum angle between the query-key pairs for these features. We verify our predictions empirically across models of different sizes and architectures.