G$^2$SR: Geometric Methods for Fast and Memory-Efficient Gaussian-based Surface Reconstruction

📄 arXiv: 2607.14470v1 📥 PDF

作者: Dasong Gao, Vivienne Sze, Sertac Karaman

分类: cs.CV, cs.RO

发布日期: 2026-07-16

备注: 8 pages, 3 figures

💡 一句话要点

提出G$^2$SR以解决快速且内存高效的表面重建问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 表面重建 高斯点云 几何方法 移动平台 实时处理 深度学习 机器人导航

📋 核心要点

  1. 现有方法在少视角表面重建中面临不适定性，导致传统光度方法容易产生伪影。
  2. G2SR通过利用跨视角2D高斯点对应关系，结合轻量级神经网络和解析后端，实现高效的3D重建。
  3. 在多个数据集上，G2SR在几何准确性上与最先进方法相当，同时显著降低了内存占用和计算速度。

📝 摘要（中文）

少视角表面重建从少量姿态RGB图像中恢复场景的可见表面，为机器人提供在线探索和交互所需的3D模型。在移动平台上，重建必须快速且几何准确，同时保持小内存占用以确保安全高效的操作。3D高斯点云（3DGS）提供高保真场景表示，但从少量视角构建时面临不适定性，传统光度方法容易产生“漂浮”伪影。我们提出G2SR，利用任务的良好适定性：给定跨视角的2D高斯点对应关系，3D高斯点可以通过多视角几何学解析得到。G2SR采用轻量级神经前端检测和跟踪图像平面上的2D高斯点，并通过解析后端将其三角化为度量尺度的3D高斯点。在ScanNet、Replica和DTU数据集上，G2SR在几何准确性上匹配或超越了最先进的端到端方法，同时在384 x 512分辨率下以203MB的GPU内存实现每秒69-89次重建，提供了在线高斯表面重建的实用路径。

🔬 方法详解

问题定义：论文要解决的问题是如何从少量RGB图像中快速且准确地重建3D表面。现有方法由于不适定性，容易产生伪影，且计算和内存需求较高。

核心思路：G2SR的核心思路是利用跨视角的2D高斯点对应关系，通过解析几何方法推导出3D高斯点，从而避免了传统方法的模糊性。

技术框架：G2SR的整体架构包括两个主要模块：轻量级神经前端用于检测和跟踪2D高斯点，解析后端用于将这些点三角化为3D高斯点。

关键创新：G2SR的主要创新在于将几何方法与轻量级神经网络结合，显著提高了重建速度和内存效率，同时保持了几何准确性。

关键设计：在设计中，G2SR采用了特定的损失函数来优化2D高斯点的检测，并通过解析几何方法确保3D重建的准确性，网络结构经过优化以适应移动平台的限制。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

G2SR在ScanNet、Replica和DTU数据集上表现出色，几何准确性与最先进的端到端方法相当，同时在384 x 512分辨率下以203MB的内存实现每秒69-89次重建，内存占用减少了5-107倍，展示了其高效性。

🎯 应用场景

该研究的潜在应用领域包括机器人导航、增强现实和虚拟现实等场景，能够为这些领域提供实时的3D环境重建，提升交互体验和操作安全性。未来，G2SR有望在更多移动设备和实时应用中得到广泛应用。

📄 摘要（原文）

Few-view surface reconstruction recovers the visible surfaces of a scene from a few posed RGB images, providing the 3D models that robots need to explore and interact online. On mobile platforms, the reconstruction must be fast and geometrically accurate while keeping a small memory footprint to ensure safe and efficient operation. 3D Gaussian Splatting (3DGS) offers a high-fidelity scene representation, but building it from a few views is ill-posed, as many distinct surfaces reproduce the same images, making traditional photometric methods prone to "floater" artifacts. End-to-end methods resolve the ambiguity by regressing splats with large, usually Transformer-based, networks that require heavy compute and memory while generalizing poorly to new scenes. We propose G2SR, which exploits a well-posed core of the task: given cross-view 2D splat correspondences, 3D splats follow analytically from multi-view geometry. G2SR employs a lightweight neural frontend to detect and track 2D Gaussian splats on the image plane and an analytic backend to triangulate each into a metric-scale 3D splat. On ScanNet, Replica, and DTU, G2SR matches or exceeds the geometric accuracy of state-of-the-art end-to-end methods while running at 69-89 reconstructions per second within 203 MB of GPU memory (5-107x less) for 2- and 3-view inputs at 384 x 512 resolution, offering a practical path to online Gaussian-based surface reconstruction.