Layer-Specific Scaling of Positional Encodings for Superior Long-Context Modeling

📄 arXiv: 2503.04355v1 📥 PDF

作者: Zhenghua Wang, Yiran Ding, Changze Lv, Zhibo Xu, Tianlong Li, Tianyuan Shi, Xiaoqing Zheng, Xuanjing Huang

分类: cs.CL

发布日期: 2025-03-06

💡 一句话要点

提出层特异性位置编码缩放方法，缓解长文本建模中的“中间信息丢失”问题。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 长文本建模 位置编码 旋转位置编码 中间信息丢失 层特异性缩放 遗传算法 贝塞尔曲线

📋 核心要点

  1. 大型语言模型在长文本处理中面临“中间信息丢失”问题，即模型难以有效利用文本中间部分的关键信息。
  2. 论文提出层特异性位置编码缩放方法，为每一层分配不同的缩放因子，以减缓旋转位置编码的衰减速度。
  3. 实验结果表明，该方法显著缓解了“中间信息丢失”问题，并在Key-Value Retrieval数据集上取得了显著的准确率提升。

📝 摘要（中文）

大型语言模型（LLMs）在处理长文本输入方面取得了显著进展，但仍然存在“中间信息丢失”问题，即上下文中中间的关键信息经常被低估或丢失。本文通过大量实验发现，这个问题可能源于旋转位置编码（RoPE）的快速长期衰减。为了解决这个问题，本文提出了一种层特异性的位置编码缩放方法，该方法为每一层分配不同的缩放因子，减缓RoPE引起的衰减速度，使模型更加关注中间上下文。采用专门设计的遗传算法，通过结合贝塞尔曲线来减少搜索空间，从而有效地为每一层选择最佳缩放因子。通过全面的实验，证明了该方法显著缓解了“中间信息丢失”问题。在Key-Value Retrieval数据集上，该方法实现了平均高达20%的准确率提升。此外，研究表明，与所有层上的均匀插值相比，层特异性插值在结合PI和Dynamic-NTK位置编码方案时，增强了模型的外推能力。

🔬 方法详解

问题定义：论文旨在解决大型语言模型在处理长文本时出现的“中间信息丢失”问题。现有方法，特别是依赖旋转位置编码（RoPE）的模型，在长文本中，中间位置的信息容易被模型忽略，导致性能下降。RoPE的长期衰减是造成这一现象的主要原因。

核心思路：核心思路是通过对每一层的位置编码进行独立的缩放，来控制RoPE的衰减速度。通过为不同的层分配不同的缩放因子，使得模型在不同深度上对位置信息的敏感度不同，从而更好地关注中间位置的信息。这种方法旨在平衡模型对不同位置信息的关注度，避免中间信息被过度衰减。

技术框架：整体框架是在Transformer模型的基础上，修改了位置编码的处理方式。具体来说，在每一层Transformer层之前，对该层的位置编码进行缩放。缩放因子是该方法的核心参数，需要针对不同的层进行优化。为了高效地搜索最佳的缩放因子组合，论文采用了一种基于贝塞尔曲线的遗传算法。

关键创新：最重要的创新点在于提出了层特异性的位置编码缩放。与传统的全局缩放或不缩放相比，该方法能够更精细地控制每一层对位置信息的敏感度，从而更好地缓解“中间信息丢失”问题。此外，结合贝塞尔曲线的遗传算法也提高了搜索效率。

关键设计：关键设计包括：1) 缩放因子的选择范围和初始化策略；2) 遗传算法的参数设置，例如种群大小、交叉概率、变异概率等；3) 贝塞尔曲线的控制点数量和位置，用于约束搜索空间；4) 损失函数的设计，用于评估不同缩放因子组合的性能。此外，层特异性插值方法也被用于增强模型的外推能力，与PI和Dynamic-NTK位置编码方案结合使用。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，该方法在Key-Value Retrieval数据集上实现了平均高达20%的准确率提升，显著缓解了“中间信息丢失”问题。此外，层特异性插值方法在结合PI和Dynamic-NTK位置编码方案时，增强了模型的外推能力。这些结果表明，该方法在长文本建模方面具有显著的优势。

🎯 应用场景

该研究成果可应用于需要处理长文本的各种自然语言处理任务，例如长文档摘要、机器翻译、问答系统、信息检索等。通过缓解“中间信息丢失”问题，可以提高模型在这些任务上的性能和可靠性。该方法还有助于提升模型对长文本上下文的理解能力，从而更好地服务于实际应用。

📄 摘要（原文）

Although large language models (LLMs) have achieved significant progress in handling long-context inputs, they still suffer from the lost-in-the-middle'' problem, where crucial information in the middle of the context is often underrepresented or lost. Our extensive experiments reveal that this issue may arise from the rapid long-term decay in Rotary Position Embedding (RoPE). To address this problem, we propose a layer-specific positional encoding scaling method that assigns distinct scaling factors to each layer, slowing down the decay rate caused by RoPE to make the model pay more attention to the middle context. A specially designed genetic algorithm is employed to efficiently select the optimal scaling factors for each layer by incorporating Bezier curves to reduce the search space. Through comprehensive experimentation, we demonstrate that our method significantly alleviates thelost-in-the-middle'' problem. Our approach results in an average accuracy improvement of up to 20% on the Key-Value Retrieval dataset. Furthermore, we show that layer-specific interpolation, as opposed to uniform interpolation across all layers, enhances the model's extrapolation capabilities when combined with PI and Dynamic-NTK positional encoding schemes.