G-ray: Ray-Level Relative Geometric Position Encoding in Multi-View Vision Transformers under Camera Heterogeneity

📄 arXiv: 2609.15018v1 📥 PDF

作者: Shuo Zhang, Xin Su, Wei Wang, Jun Liu, Xinrui Zeng, Yongsen Chen, Chenjie Wang, Guibo Zhu, Jinqiao Wang, Bin Luo, Liangpei Zhang

分类: cs.CV

发布日期: 2026-09-14

备注: 26 pages, 13 figures, 14 tables. Supplementary material included in the appendix. Project page: https://g-ray-project.github.io/

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出G-ray以解决多视角视觉变换器中的相对位置编码问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 多视角视觉 相对位置编码 视觉变换器 3D重建 新视图合成 相机异质性 几何线索

📋 核心要点

  1. 现有的旋转相对位置编码方法在处理相机异质性时存在投影依赖性，导致几何线索不一致。
  2. G-ray通过光线级别的相对位置编码，使用相机局部光线角度来实现投影不变的位置一致性。
  3. 在三种异质3D重建基准测试中，G-ray在六个平均指标上领先，并将平均点图相对误差降低了45.8%。

📝 摘要（中文）

本研究探讨了在相机异质性下，多视角视觉变换器的相对位置编码问题，包括视场（FoV）或投影模型的变化。现有的旋转相对位置编码通常使用图像平面坐标，导致投影依赖的相对相位和跨投影注意力的不一致几何线索。我们提出了G-ray，一种基于光线级别的相对位置编码，其旋转相位由相机局部光线角度参数化。相同的相机局部光线对在不同投影中诱导相同的相对相位，从而提供投影不变的位置一致性。G-ray可以直接使用或与现有编码集成，保留互补的几何线索而无需额外学习参数。我们在RoPE、GTA和RayRoPE三种主编码中验证了G-ray，在3D重建和新视图合成（NVS）中表现优异。

🔬 方法详解

问题定义：本论文旨在解决在相机异质性条件下，多视角视觉变换器中相对位置编码的不一致性问题。现有方法依赖于图像平面坐标，导致不同投影间的几何线索不一致，影响模型性能。

核心思路：G-ray的核心思想是通过光线级别的相对位置编码，使用相机局部光线角度来参数化旋转相位，从而实现跨投影的一致性。这种设计使得相同的光线对在不同投影中保持相同的相对相位，增强了位置编码的稳定性。

技术框架：G-ray的整体架构包括光线级别的相对位置编码模块，该模块可以与现有的编码方法（如RoPE、GTA和RayRoPE）集成。通过这种集成，G-ray能够在不增加额外学习参数的情况下，保留互补的几何线索。

关键创新：G-ray的主要创新在于其光线级别的相对位置编码方法，与传统的图像平面编码相比，提供了投影不变的相对相位，从而解决了现有方法的局限性。

关键设计：在实现G-ray时，关键设计包括相机局部光线角度的参数化方式，以及与现有编码方法的结合方式。这些设计确保了G-ray在处理不同类型的输入时，能够保持高效的性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在三种异质3D重建基准测试中，G-ray在六个平均指标上均表现优异，平均点图相对误差较MapAnything降低了45.8%。此外，G-ray在新视图合成任务中也显示出显著的性能提升，尤其是在视点和视场变化的情况下。

🎯 应用场景

该研究的潜在应用领域包括计算机视觉中的3D重建、虚拟现实和增强现实等场景。通过提高多视角视觉变换器在异质相机条件下的性能，G-ray能够推动相关技术在实际应用中的发展，提升用户体验和系统的准确性。

📄 摘要（原文）

We study relative position encoding for multi-view vision Transformers under camera heterogeneity, including varying fields of view (FoVs) or projection models. Existing rotary relative position encodings commonly use image-plane positional coordinates, producing projection-dependent relative phases and inconsistent geometric cues for cross-projection attention. We introduce G-ray, a ray-level relative position encoding whose rotary phases are parameterized by camera-local ray angles. The same camera-local ray pair induces the same relative phase across projections, providing projection-invariant positional consistency. G-ray can be used directly or integrated with existing encodings, retaining complementary geometric cues without additional learned parameters. We validate G-ray in three host encodings, RoPE, GTA, and RayRoPE, across 3D reconstruction and novel-view synthesis (NVS). Across three heterogeneous 3D reconstruction benchmarks at 50 views, G-ray leads all six averaged metrics and reduces mean pointmap relative error by 45.8% over MapAnything, with calibration supplied to both. Trained exclusively on homogeneous pinhole images, the 3D reconstruction model handles mixed pinhole and non-pinhole inputs without retraining and remains competitive on homogeneous pinhole 3D reconstruction protocols. For NVS, GTA and RayRoPE improve with G-ray under joint viewpoint and FoV variation. The project's webpage is available at https://g-ray-project.github.io/.