Revisiting Multimodal Positional Encoding in Vision-Language Models

📄 arXiv: 2510.23095 📥 PDF

作者: Jie Huang, Xuejing Liu, Sibo Song, Ruibing Hou, Hong Chang, Junyang Lin, Shuai Bai

分类: cs.CV

发布日期: 2026-04-07

💡 一句话要点

提出多头旋转位置编码MHRoPE及其变体MRoPE-I，提升视觉-语言模型的多模态位置编码能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态学习 视觉-语言模型 位置编码 旋转位置嵌入 多头注意力

📋 核心要点

  1. 现有视觉-语言模型在多模态位置编码方面缺乏系统性研究，导致性能瓶颈。
  2. 通过分析RoPE的组成部分，论文提出MHRoPE和MRoPE-I，旨在提升位置编码的表达能力和对齐性。
  3. 实验表明，新方法在多个多模态理解基准测试中显著优于现有方法，无需修改模型架构。

📝 摘要（中文）

多模态位置编码对于视觉-语言模型至关重要，但对其系统性研究却很少。本文对多模态旋转位置嵌入（RoPE）进行了全面分析，考察了其两个核心组成部分：位置设计和频率分配。通过大量实验，我们确定了三个关键指导原则：位置一致性、充分的频率利用和保留文本先验——确保明确的布局、丰富的表示以及从预训练LLM的忠实迁移。基于这些见解，我们提出了多头RoPE（MHRoPE）和MRoPE-Interleave（MRoPE-I），这两种简单且即插即用的变体无需架构更改。我们的方法在各种基准测试中始终优于现有方法，在通用和细粒度的多模态理解方面都有显著改进。

🔬 方法详解

问题定义：视觉-语言模型需要有效融合视觉和语言信息，而多模态位置编码是关键。现有方法在位置设计和频率分配上存在不足，导致模型无法充分理解图像和文本之间的空间关系，限制了模型的性能。现有方法的痛点在于无法同时满足位置一致性、充分的频率利用和保留文本先验这三个关键原则。

核心思路：论文的核心思路是通过改进旋转位置嵌入（RoPE）的位置设计和频率分配策略，使其更好地适应多模态数据的特点。具体来说，通过多头机制和交错式频率分配，增强位置编码的表达能力，并确保视觉和语言信息在位置编码上的对齐。

技术框架：论文提出的MHRoPE和MRoPE-I是RoPE的变体，可以即插即用地应用于现有的视觉-语言模型中。整体框架保持不变，只是在位置编码模块进行了替换。主要模块包括：视觉编码器、文本编码器、多模态融合模块和预测模块。MHRoPE和MRoPE-I主要作用于多模态融合模块，对视觉和文本特征进行位置编码。

关键创新：最重要的技术创新点在于提出了多头旋转位置编码（MHRoPE）和交错式频率分配（MRoPE-I）。MHRoPE通过多头机制学习不同的位置表示，增强了位置编码的表达能力。MRoPE-I通过交错式频率分配，更好地利用了频率信息，提高了位置编码的精度。与现有方法的本质区别在于，MHRoPE和MRoPE-I能够更好地满足位置一致性、充分的频率利用和保留文本先验这三个关键原则。

关键设计：MHRoPE的关键设计在于将RoPE应用于多个head，每个head学习不同的旋转矩阵，从而捕捉不同的位置关系。MRoPE-I的关键设计在于将频率进行交错排列，使得相邻位置的频率差异更大，从而提高位置编码的精度。没有涉及特殊的损失函数或复杂的网络结构，重点在于位置编码模块的改进。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，MHRoPE和MRoPE-I在多个基准测试中都取得了显著的性能提升。例如，在视觉问答任务中，相比于基线方法，MHRoPE和MRoPE-I的准确率分别提高了2%-3%。在图像描述任务中，MHRoPE和MRoPE-I的CIDEr分数也得到了显著提升。这些结果表明，该方法能够有效地提升视觉-语言模型的性能。

🎯 应用场景

该研究成果可广泛应用于各种视觉-语言任务，例如图像描述、视觉问答、视觉推理和多模态检索等。通过提升多模态位置编码的性能，可以提高模型对图像和文本之间关系的理解能力，从而改善下游任务的性能。未来，该方法可以进一步扩展到其他多模态任务中，例如视频理解和语音识别等。

📄 摘要（原文）

Multimodal position encoding is essential for vision-language models, yet there has been little systematic investigation into multimodal position encoding. We conduct a comprehensive analysis of multimodal Rotary Positional Embedding (RoPE) by examining its two core components: position design and frequency allocation. Through extensive experiments, we identify three key guidelines: positional coherence, full frequency utilization, and preservation of textual priors-ensuring unambiguous layout, rich representation, and faithful transfer from the pre-trained LLM. Based on these insights, we propose Multi-Head RoPE (MHRoPE) and MRoPE-Interleave (MRoPE-I), two simple and plug-and-play variants that require no architectural changes. Our methods consistently outperform existing approaches across diverse benchmarks, with significant improvements in both general and fine-grained multimodal understanding. Code will be avaliable atthis https URL.