GeoPano: Towards Geometrically Accurate 3D Reconstruction from a Single Panorama
作者: Jing OU, Zidong Cao, Liaoyuan Fan, Zhuoxiao Li, Shuai Zhang, Yinrui Ren, Dongli Wu, Haoang Li, Hui Xiong, Wufan Zhao
分类: cs.CV
发布日期: 2026-10-15
💡 一句话要点
提出GeoPano以解决全景图像几何重建不一致问题
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱七：动作重定向 (Motion Retargeting)
关键词: 全景图像 3D重建 几何一致性 注意力机制 混合监督 机器人技术 增强现实 虚拟现实
📋 核心要点
- 现有方法在从全景图像中直接估计几何形状时，面临球面失真和视图间几何不一致的挑战。
- 本文提出GeoPano框架，通过全景感知的注意力聚合器和混合监督策略，解决几何重建中的不一致性问题。
- 实验结果显示，GeoPano在重建精度和视觉效果上显著优于现有的最先进方法，提升幅度明显。
📝 摘要（中文）
全景3D重建能够全面恢复360度场景几何，为机器人和增强现实/虚拟现实应用提供显著优势。然而，从等距投影图像直接估计几何形状面临球面失真的挑战。为减少这种失真，常用策略是将全景图分解为无失真的透视视图，但独立处理这些视图往往会引入视图间的几何不一致。为解决这些问题，本文提出了GeoPano，一个前馈框架，能够从单个全景图中恢复几何准确且一致的点云。我们的方案基于两个关键创新：首先，提出了一种全景感知的注意力聚合器，利用新颖的Pano-Attention机制，明确利用全景的内在球面几何来指导视图间的交互，从而抑制几何不一致。此外，我们制定了一种混合监督策略，以共同强化透视空间中的细粒度局部细节和球面空间中的全局结构一致性。实验结果表明，我们的方法在重建精度、几何一致性和视觉保真度上显著优于现有的最先进方法。
🔬 方法详解
问题定义：本文旨在解决从单个全景图像中进行几何重建时，因球面失真导致的几何不一致问题。现有方法往往通过分解全景图为透视视图来减轻失真，但这种独立处理方式引入了视图间的不一致性。
核心思路：GeoPano的核心思路是通过全景感知的注意力聚合器，利用新颖的Pano-Attention机制，明确考虑全景图的球面几何特性，增强视图间的交互，从而减少几何不一致。
技术框架：GeoPano的整体架构包括两个主要模块：全景感知的注意力聚合器和混合监督策略。前者负责处理全景图的几何信息，后者则确保局部细节与全局结构的一致性。
关键创新：最重要的技术创新在于引入了Pano-Attention机制，该机制能够有效利用全景图的几何特性，指导视图间的交互，显著抑制几何不一致。与现有方法相比，GeoPano在处理全景图时更具一致性和准确性。
关键设计：在设计中，GeoPano采用了特定的损失函数来平衡局部细节和全局结构的监督，同时在网络结构上进行了优化，以适应全景图的处理需求。
🖼️ 关键图片
📊 实验亮点
实验结果表明，GeoPano在重建精度上相比于现有最先进方法提升了显著的百分比，具体数值为XX%（具体数据未知），同时在几何一致性和视觉保真度方面也表现出明显的优势，验证了其有效性。
🎯 应用场景
GeoPano的研究成果具有广泛的应用潜力，特别是在机器人导航、增强现实和虚拟现实等领域。通过提供更准确的3D场景重建，GeoPano能够提升这些应用的用户体验和操作精度，推动相关技术的发展。
📄 摘要（原文）
Panoramic 3D reconstruction enables the holistic recovery of complete 360 $^\circ$ scene geometry, offering significant benefits for robotics and AR/VR applications. However, directly estimating geometry from ERP images is inherently challenged by spherical distortions. To reduce spherical projection distortions, a common strategy is to decompose panoramas into distortion-free perspective views, but independently processing these views often introduces cross-view geometric inconsistencies. To address these challenges, we introduce GeoPano, a feed-forward framework for single-view panoramic 3D reconstruction that recovers a geometrically accurate and consistent point cloud from a single panorama. Our approach is driven by two key innovations: First, we propose a panoramic-aware attention aggregator, featuring a streamlined attention architecture equipped with a novel Pano-Attention mechanism, which explicitly exploits the intrinsic spherical geometry of the panorama to guide cross-view interactions, thereby suppressing geometric inconsistencies. Furthermore, we formulate a hybrid supervision strategy to jointly enforce fine-grained local details in perspective space and global structural coherence in spherical space. Experiments demonstrate that our method significantly outperforms previous SOTA approaches in reconstruction accuracy, geometric consistency, and visual fidelity.