RecallGS: Geometry-Grounded Recall for Online Semantic Gaussian Splatting
作者: Thanh-Khoi Nguyen, Thien-Phuc Tran, Minh-Triet Tran
分类: cs.CV, cs.AI
发布日期: 2026-10-22
💡 一句话要点
提出RecallGS以解决在线语义高斯点云重建中的几何上下文缺失问题
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 在线语义理解 高斯点云 几何上下文 非参数先验 实时处理
📋 核心要点
- 现有方法依赖额外学习的3D网络来恢复几何上下文，导致训练和运行开销增加。
- RecallGS通过检索过去的观测作为几何-语义先验，避免了额外的学习过程。
- 在ScanNet和ScanNet++数据集上，RecallGS以2.48 FPS实现了优异的语义分割性能，展示了其有效性。
📝 摘要（中文）
在线语义3D高斯点云重建（3DGS）能够从流式观测中实现开放词汇场景理解。然而，现有方法需要通过额外学习的3D网络来恢复图像派生语义特征中缺失的几何上下文，导致额外的训练和运行开销。我们观察到，几何-语义证据可能已经存在于代理的观测历史中，可以被检索而非学习。基于这一洞察，我们提出了RecallGS（几何基础的在线语义高斯点云重建），这是一种轻量级、无训练机制，利用过去的观测作为非参数几何-语义先验。RecallGS遵循检索-基础-融合的流程：CLIP检索相关观测，alpha合成权重识别几何支持视图，并在每个高斯的渲染足迹上聚合其语义特征。在ScanNet和ScanNet++上，RecallGS以2.48 FPS实现了强大的语义分割性能，证明了几何-语义上下文可以有效地从观测历史中恢复，而无需额外的学习3D分支。
🔬 方法详解
问题定义：本论文旨在解决在线语义高斯点云重建中几何上下文缺失的问题。现有方法依赖额外的3D网络来恢复几何信息，导致训练和运行效率低下。
核心思路：RecallGS的核心思路是利用过去的观测作为非参数几何-语义先验，通过检索历史数据而非学习新模型来恢复几何上下文。这样的设计减少了计算开销并提高了实时性。
技术框架：RecallGS的整体架构包括三个主要模块：首先，使用CLIP模型检索与当前观测相关的历史数据；其次，通过alpha合成权重识别几何支持的视图；最后，聚合这些视图的语义特征以增强当前的高斯渲染。
关键创新：最重要的创新点在于将历史观测作为几何-语义先验进行检索，这一方法与现有依赖学习的3D网络的方式本质上不同，显著降低了模型复杂性。
关键设计：在RecallGS中，CLIP模型用于检索相关观测，alpha合成权重用于确定几何支持视图，聚合过程则确保了语义特征的有效融合。具体的参数设置和损失函数设计未在摘要中详细说明，需参考完整论文。
🖼️ 关键图片
📊 实验亮点
RecallGS在ScanNet和ScanNet++数据集上以2.48 FPS的速度实现了强大的语义分割性能，展示了其在不依赖额外学习的情况下有效恢复几何-语义上下文的能力。与传统方法相比，RecallGS显著提高了处理效率和实时性。
🎯 应用场景
该研究的潜在应用领域包括机器人导航、增强现实和自动驾驶等场景理解任务。通过有效利用历史观测，RecallGS能够在实时环境中提供更准确的语义理解，具有重要的实际价值和广泛的应用前景。
📄 摘要（原文）
Online semantic 3D Gaussian Splatting (3DGS) enables open-vocabulary scene understanding from streaming observations. However, existing methods recover geometric context missing from image-derived semantic features using an additionally learned 3D network, incurring extra training and runtime overhead. We observe that such geometric-semantic evidence may already exist in the agent's observation history and can be retrieved rather than learned. Based on this insight, we introduce RecallGS (Geometry-Grounded Recall for Online Semantic Gaussian Splatting), a lightweight, training-free mechanism that treats past observations as a non-parametric geometric-semantic prior. RecallGS follows a recall-ground-fuse pipeline: CLIP retrieves relevant observations, alpha-compositing weights identify geometrically supported views, and aggregate their semantic features over each Gaussian's rendered footprint. On ScanNet and ScanNet++, RecallGS achieves strong semantic segmentation performance at 2.48 FPS, demonstrating that geometric-semantic context can be effectively recovered from observation history without an additional learned 3D branch.