Beyond Sequential Distance: Inter-Modal Distance Invariant Position Encoding

📄 arXiv: 2603.10863v1 📥 PDF

作者: Lin Chen, Bolin Ni, Qi Yang, Zili Wang, Kun Ding, Ying Wang, Houwen Peng, Shiming Xiang

分类: cs.CV

发布日期: 2026-03-11

🔗 代码/项目: GITHUB

💡 一句话要点

提出跨模态距离不变位置编码(DIPE)，缓解MLLM长文本场景中的视觉信息衰减问题。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态大语言模型 长文本处理 视觉信息衰减 位置编码 跨模态学习 Transformer RoPE 距离不变性

📋 核心要点

  1. 多模态大语言模型在长文本场景中存在视觉信息衰减问题，即模型对视觉信息的关注度随着文本长度增加而降低。
  2. 论文提出跨模态距离不变位置编码(DIPE)，解耦模态内和模态间的位置编码，缓解因距离增加导致的跨模态注意力惩罚。
  3. 实验结果表明，DIPE能有效缓解长文本中的视觉信息衰减，同时保持模型在短文本任务上的性能。

📝 摘要（中文）

多模态大型语言模型(MLLM)虽然展现了卓越的能力，但在长文本场景中仍然存在视觉信息衰减的问题。具体来说，随着文本序列的延长，对视觉token的注意力会逐渐减弱，导致文本生成与视觉约束脱节。我们认为这种衰减是由于多模态RoPE固有的归纳偏置造成的，它会随着视觉和文本token之间距离的增加而惩罚跨模态注意力。为了解决这个问题，我们提出了一种简单而有效的机制，即跨模态距离不变位置编码(DIPE)，它基于模态交互来解耦位置编码。DIPE保留了模态内交互的自然相对位置，以保持局部结构，同时对模态间交互强制执行锚定的感知邻近性。这种策略有效地缓解了基于跨模态距离的惩罚，确保视觉信号保持感知一致，而与上下文长度无关。实验结果表明，通过将DIPE与多模态RoPE集成，该模型在长文本场景中保持了稳定的视觉基础，显著缓解了视觉衰减，同时保持了在标准短文本基准上的性能。代码已在https://github.com/lchen1019/DIPE上发布。

🔬 方法详解

问题定义：论文旨在解决多模态大型语言模型（MLLM）在处理长文本时出现的视觉信息衰减问题。现有方法，特别是基于多模态RoPE的位置编码方法，会随着视觉token和文本token之间距离的增加而降低跨模态注意力，导致模型在生成文本时逐渐忽略视觉信息。这种现象使得模型无法有效地利用视觉信息进行文本生成，降低了模型在长文本场景下的性能。

核心思路：论文的核心思路是解耦模态内和模态间的位置编码。对于模态内的交互，保留原有的相对位置编码，以保持局部结构信息。对于模态间的交互，引入距离不变的位置编码，使得模型对视觉信息的感知不随文本长度的增加而衰减。这样，模型既能利用模态内的局部信息，又能保持对视觉信息的稳定关注。

技术框架：DIPE方法主要在多模态RoPE的基础上进行改进。整体框架仍然是基于Transformer的MLLM架构。DIPE主要修改了位置编码部分，具体来说，对于同一模态内的token，仍然使用RoPE进行位置编码，保持其相对位置关系；对于不同模态的token，则使用一种新的位置编码方式，使得它们之间的距离对注意力计算的影响减小。

关键创新：论文的关键创新在于提出了跨模态距离不变位置编码（DIPE）。与传统的基于距离的位置编码方法不同，DIPE通过解耦模态内和模态间的位置编码，有效地缓解了因距离增加导致的跨模态注意力衰减问题。这种方法使得模型在长文本场景下能够更好地利用视觉信息，提高了模型的性能。

关键设计：DIPE的关键设计在于如何实现跨模态距离不变的位置编码。具体来说，论文采用了一种锚定的感知邻近性策略，即对于不同模态的token，将其位置编码设置为一个固定的值，或者一个与距离无关的值。这样，无论文本长度如何增加，视觉token和文本token之间的距离都不会影响注意力计算，从而保证了视觉信息的稳定关注。具体的实现细节可能涉及到一些可学习的参数，用于调整不同模态之间的权重。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，DIPE能够有效缓解长文本场景中的视觉信息衰减问题，同时保持模型在短文本任务上的性能。具体性能数据未知，但摘要中提到DIPE与多模态RoPE集成后，模型在长文本场景中保持了稳定的视觉基础，显著缓解了视觉衰减，同时保持了在标准短文本基准上的性能。

🎯 应用场景

该研究成果可应用于需要处理长文本和多模态信息的场景，例如长篇图文故事生成、视频内容理解与描述、以及基于视觉信息的对话系统等。通过缓解视觉信息衰减问题，可以提升模型在这些场景下的性能和用户体验，使得模型能够更好地理解和利用视觉信息。

📄 摘要（原文）

Despite the remarkable capabilities of Multimodal Large Language Models (MLLMs), they still suffer from visual fading in long-context scenarios. Specifically, the attention to visual tokens diminishes as the text sequence lengthens, leading to text generation detached from visual constraints. We attribute this degradation to the inherent inductive bias of Multimodal RoPE, which penalizes inter-modal attention as the distance between visual and text tokens increases. To address this, we propose inter-modal Distance Invariant Position Encoding (DIPE), a simple but effective mechanism that disentangles position encoding based on modality interactions. DIPE retains the natural relative positioning for intra-modal interactions to preserve local structure, while enforcing an anchored perceptual proximity for inter-modal interactions. This strategy effectively mitigates the inter-modal distance-based penalty, ensuring that visual signals remain perceptually consistent regardless of the context length. Experimental results demonstrate that by integrating DIPE with Multimodal RoPE, the model maintains stable visual grounding in long-context scenarios, significantly alleviating visual fading while preserving performance on standard short-context benchmarks. Code is available at https://github.com/lchen1019/DIPE.