HoPE: Hybrid of Position Embedding for Long Context Vision-Language Models

📄 arXiv: 2505.20444v2 📥 PDF

作者: Haoran Li, Yingjie Qin, Baoyuan Ou, Lai Xu, Ruiwen Xu

分类: cs.LG, cs.CV

发布日期: 2025-05-26 (更新: 2025-10-08)

备注: NeurIPS 2025

🔗 代码/项目: GITHUB

💡 一句话要点

提出HoPE：一种混合位置编码，提升长上下文视觉语言模型性能

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 长视频理解 视觉语言模型 位置编码 旋转位置编码 长上下文建模 视频检索 多模态学习

📋 核心要点

  1. 现有视觉语言模型在长视频等长上下文场景中性能下降，无法有效捕捉时空依赖。
  2. 提出混合位置编码HoPE，通过混合频率分配和动态时间缩放，提升模型长上下文语义建模能力。
  3. 在长视频理解和检索任务上，HoPE在多个视频基准测试中始终优于现有方法。

📝 摘要（中文）

视觉语言模型(VLM)在多模态任务中取得了显著进展。然而，在长上下文场景，特别是长视频中，它们的性能通常会下降。旋转位置编码(RoPE)已广泛应用于大型语言模型(LLM)的长度泛化，但将原始RoPE扩展到捕获视频中复杂的时空依赖关系仍然是一个未解决的挑战。现有方法通常在RoPE中分配不同的频率来编码3D位置信息。然而，这些分配策略主要依赖于启发式方法，缺乏深入的理论分析。本文首先研究了不同的分配策略如何影响VLM的长上下文能力。我们的分析表明，当前的多模态RoPE无法可靠地捕获扩展上下文中的语义相似性。为了解决这个问题，我们提出了一种混合位置编码HoPE，旨在提高VLM的长上下文能力。HoPE引入了一种混合频率分配策略，用于在任意长度的上下文中进行可靠的语义建模，以及一种动态时间缩放机制，以促进跨不同上下文长度的鲁棒学习和灵活推理。在四个视频基准上进行的关于长视频理解和检索任务的大量实验表明，HoPE始终优于现有方法，证实了其有效性。

🔬 方法详解

问题定义：现有视觉语言模型在处理长视频等长上下文时，性能显著下降。主要原因是现有方法，特别是直接将RoPE扩展到多模态场景时，无法有效地捕捉视频中复杂的时空依赖关系。现有的基于RoPE的方法通常采用启发式的方式为3D位置信息分配不同的频率，缺乏理论指导，导致模型无法可靠地学习长距离的语义相似性。

核心思路：HoPE的核心思路是通过混合位置编码来解决长上下文建模问题。它结合了不同的频率分配策略，以更有效地捕捉视频中的时空依赖关系。此外，引入动态时间缩放机制，使得模型能够更好地适应不同长度的上下文，从而提高模型的泛化能力和鲁棒性。

技术框架：HoPE主要包含两个关键模块：混合频率分配策略和动态时间缩放机制。混合频率分配策略旨在更可靠地建模长距离的语义关系，而动态时间缩放机制则用于增强模型在不同上下文长度下的适应性。整个框架可以嵌入到现有的视觉语言模型中，作为位置编码模块的替代方案。

关键创新：HoPE的关键创新在于其混合频率分配策略和动态时间缩放机制的结合。与现有方法中单一的、启发式的频率分配策略不同，HoPE采用混合策略，能够更全面地捕捉视频中的时空信息。动态时间缩放机制则使得模型能够灵活地处理不同长度的视频，避免了因长度变化而导致的性能下降。

关键设计：混合频率分配策略的具体实现方式未知，但其核心思想是结合不同的频率来编码位置信息，以捕捉不同尺度的时空依赖关系。动态时间缩放机制的具体实现方式也未知，但其目标是根据视频的长度动态调整时间维度上的缩放比例，从而使得模型能够更好地适应不同长度的视频。损失函数和网络结构等细节未在摘要中提及，属于未知信息。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

HoPE在四个视频基准测试中，针对长视频理解和检索任务，始终优于现有方法。具体性能数据和提升幅度未在摘要中给出，属于未知信息。但结论表明，HoPE在长上下文建模方面具有显著优势。

🎯 应用场景

HoPE具有广泛的应用前景，可应用于长视频理解、视频检索、视频摘要、智能监控等领域。通过提升视觉语言模型在长上下文场景下的性能，HoPE能够帮助模型更好地理解视频内容，从而实现更智能的视频分析和处理。未来，HoPE有望成为长视频分析领域的重要技术支撑。

📄 摘要（原文）

Vision-Language Models (VLMs) have made significant progress in multimodal tasks. However, their performance often deteriorates in long-context scenarios, particularly long videos. While Rotary Position Embedding (RoPE) has been widely adopted for length generalization in Large Language Models (LLMs), extending vanilla RoPE to capture the intricate spatial-temporal dependencies in videos remains an unsolved challenge. Existing methods typically allocate different frequencies within RoPE to encode 3D positional information. However, these allocation strategies mainly rely on heuristics, lacking in-depth theoretical analysis. In this paper, we first study how different allocation strategies impact the long-context capabilities of VLMs. Our analysis reveals that current multimodal RoPEs fail to reliably capture semantic similarities over extended contexts. To address this issue, we propose HoPE, a Hybrid of Position Embedding designed to improve the long-context capabilities of VLMs. HoPE introduces a hybrid frequency allocation strategy for reliable semantic modeling over arbitrarily long contexts, and a dynamic temporal scaling mechanism to facilitate robust learning and flexible inference across diverse context lengths. Extensive experiments across four video benchmarks on long video understanding and retrieval tasks demonstrate that HoPE consistently outperforms existing methods, confirming its effectiveness. Our code is available at https://github.com/hrlics/HoPE.