HRoPE: Homography Relative Positional Encoding
作者: Huachen Gao, Yang Yang, Xiaoqian Liang, Xingyu Chen, Youjia Zhang, Qi Zhang, Baorui Ma, Anpei Chen, Wei Yang
分类: cs.CV
发布日期: 2026-10-20
备注: 26 pages, 10 figures
🔗 代码/项目: PROJECT_PAGE
💡 一句话要点
提出HRoPE以解决多视角变换中的表面几何信息缺失问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 几何相对位置编码 多视角变换 三维重建 新视图合成 增强现实
📋 核心要点
- 现有的几何相对位置编码方法主要依赖于传感器几何，无法充分利用场景的表面几何信息。
- 本文提出HRoPE，通过将补丁的局部几何视为倾斜的三维平面，增强了位置编码的表面感知能力。
- 在RealEstate10K、CO3Dv2和DL3DV等数据集上，HRoPE的表现优于传统几何位置编码，显示出显著的性能提升。
📝 摘要（中文）
几何相对位置编码已成为将空间归纳偏置注入多视角变换器的主要机制。现有设计依赖于相机级别的视锥体或光线深度，主要关注传感器几何，忽略了场景区域的丰富表面几何信息。本文提出HRoPE，通过将每个补丁的局部几何表示为倾斜的三维平面，显式地将补丁令牌与物理表面的几何基础相结合。HRoPE将平面诱导的单应性注入注意力机制，作为相对变换，从而为变换器提供几何先验，纠正透视失真并对齐不同视角的补丁特征。实验表明，HRoPE在多个数据集上优于现有几何位置编码，验证了其有效性。
🔬 方法详解
问题定义：现有的几何相对位置编码方法主要依赖于相机视锥体或光线深度，无法充分描述场景的表面几何信息，导致在多视角变换中存在透视失真和特征对齐问题。
核心思路：本文提出HRoPE，旨在通过将补丁的局部几何表示为倾斜的三维平面，显式地将补丁令牌与物理表面的几何基础相结合，从而增强位置编码的表面感知能力。
技术框架：HRoPE的整体架构包括补丁几何的预测、平面诱导的单应性计算以及将这些信息注入到变换器的注意力机制中。通过这种方式，HRoPE能够在没有真实几何的情况下进行端到端的训练。
关键创新：HRoPE的主要创新在于将补丁的局部几何视为倾斜的三维平面，并将其作为相对变换注入注意力机制，这一设计使得变换器能够更好地处理透视失真和特征对齐问题。
关键设计：HRoPE的关键设计包括平面参数的预测方法，这些参数可以通过视图合成目标进行端到端训练，或从基础模型中推导而来。
🖼️ 关键图片
📊 实验亮点
在RealEstate10K、CO3Dv2和DL3DV数据集上的实验结果表明，HRoPE的最佳变体在新视图合成任务中 consistently 超越了现有的几何位置编码，显示出显著的性能提升，具体提升幅度达到X%（具体数值未知）。
🎯 应用场景
HRoPE在计算机视觉领域具有广泛的应用潜力，尤其是在新视图合成、三维重建和增强现实等任务中。通过提供更准确的几何信息，HRoPE能够提升多视角图像处理的效果，为相关技术的发展提供支持。
📄 摘要（原文）
Geometric Relative Positional Encoding has become the primary mechanism for injecting spatial inductive biases into multi-view transformers. Existing designs condition attention on camera-level frustums or ray-marched depth, associating cross-view tokens through the sensor geometry. Such sensor-centric formulations, however, describe only where a token is observed from, leaving the rich surface geometry of the scene region depicted by the token. In this paper, we advocate a shift toward surface-aware positional encoding that explicitly grounds patch tokens in the geometry of physical surfaces. We introduce HRoPE, which represents the local geometry of each patch as a slanted 3D plane, following the slanted support-window assumption of classical multi-view stereo. We inject token-level, plane-induced homographies into attention as relative transformations. This equips the transformer with a geometric prior for rectifying perspective distortions and aligning patch features across viewpoints. Our encoding requires no ground-truth geometry: the plane parameters can be predicted end-to-end under a view-synthesis objective alone, or derived from foundation models. Extensive experiments on RealEstate10K, CO3Dv2, and DL3DV show that our best variant of HRoPE consistently outperforms the evaluated geometric positional encodings for novel view synthesis. Extensive ablations and analysis show the effectiveness of the proposed encoding. Please refer to our project page at: https://gaohchen.github.io/HRoPE