CoRe-GS: Coarse-to-Refined Gaussian Splatting with Semantic Object Focus

📄 arXiv: 2509.04859v2 📥 PDF

作者: Hannah Schieber, Dominik Frischmann, Victor Schaack, Simon Boche, Angela Schoellig, Stefan Leutenegger, Daniel Roth

分类: cs.CV

发布日期: 2025-09-05 (更新: 2025-09-16)

💡 一句话要点

CoRe-GS：面向语义对象聚焦的由粗到精高斯溅射，加速移动重建。

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 高斯溅射 移动重建 语义分割 兴趣点 由粗到精

📋 核心要点

  1. 现有高保真场景重建计算成本高，在移动场景下难以满足实时性要求，且并非所有区域都同等重要。
  2. CoRe-GS通过粗到精的策略，首先快速构建场景的粗略高斯溅射表示，然后选择性地细化语义相关的兴趣点。
  3. 实验表明，CoRe-GS在保证关键区域重建质量的同时，显著减少了训练时间，提升了移动重建的效率。

📝 摘要（中文）

移动重建技术在远程指导和灾难响应等时间敏感型任务中具有巨大潜力，操作人员需要快速准确地了解环境。完整的高保真场景重建计算成本高昂，且当只有特定的兴趣点（POI）对及时决策至关重要时，通常是不必要的。本文提出了CoRe-GS，一种语义POI聚焦的高斯溅射（GS）扩展方法。CoRe-GS并非均匀地优化每个场景元素，而是首先生成一个快速的、可用于分割的GS表示，然后选择性地细化在数据采集期间检测到的属于语义相关POI的splat。这种有针对性的细化将训练时间减少到完整语义GS的25％，同时提高了最重要区域的新视角合成质量。在真实世界（SCRREAM）和合成（NeRDS 360）数据集上的验证表明，优先考虑POI能够实现更快、更高质量的、针对操作需求的移动重建。

🔬 方法详解

问题定义：论文旨在解决移动重建中，完整高保真场景重建计算量大、耗时，且对所有区域进行同等处理效率低下的问题。现有方法无法在计算资源有限的情况下，快速且高质量地重建关键区域，从而影响了远程指导和灾难响应等任务的效率。

核心思路：论文的核心思路是优先重建和优化语义相关的兴趣点（POI）。通过粗到精的策略，首先快速构建场景的粗略表示，然后集中计算资源细化与任务相关的POI，从而在保证关键区域质量的同时，显著降低整体计算成本。

技术框架：CoRe-GS包含以下两个主要阶段：1) 粗略重建阶段：利用高斯溅射（GS）快速构建场景的初始表示，该表示能够支持后续的语义分割。2) 精细化阶段：基于语义分割结果，选择性地细化属于语义相关POI的splat。该阶段针对这些splat进行更密集的优化，以提高其几何和外观质量。

关键创新：CoRe-GS的关键创新在于其有选择性的细化策略。与传统的GS方法对所有splat进行均匀优化不同，CoRe-GS仅针对语义相关的POI进行细化，从而显著降低了计算成本，并提高了关键区域的重建质量。这种策略使得CoRe-GS能够在资源有限的移动设备上实现高效的场景重建。

关键设计：CoRe-GS的关键设计包括：1) 使用现有的语义分割模型来识别场景中的POI。2) 设计了一种损失函数，该函数侧重于优化POI区域的重建质量，例如，可以增加POI区域的权重。3) 在精细化阶段，可以采用更密集的splat表示和更长的优化迭代次数来提高POI区域的重建精度。具体的参数设置和网络结构可能依赖于所使用的语义分割模型和高斯溅射实现。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，CoRe-GS在训练时间上相比于完整语义GS降低了75%，同时在语义相关的POI区域实现了更高的重建质量。在真实世界数据集SCRREAM和合成数据集NeRDS 360上，CoRe-GS均表现出优异的性能，验证了其在移动重建场景下的有效性和优越性。

🎯 应用场景

CoRe-GS适用于需要快速、高质量场景重建的移动应用场景，例如远程指导、灾难响应、机器人导航和增强现实。通过优先重建关键区域，CoRe-GS可以帮助操作人员快速获取所需信息，提高决策效率和任务成功率。该技术还有潜力应用于自动驾驶、智能安防等领域，为这些应用提供更高效、更准确的环境感知能力。

📄 摘要（原文）

Mobile reconstruction has the potential to support time-critical tasks such as tele-guidance and disaster response, where operators must quickly gain an accurate understanding of the environment. Full high-fidelity scene reconstruction is computationally expensive and often unnecessary when only specific points of interest (POIs) matter for timely decision making. We address this challenge with CoRe-GS, a semantic POI-focused extension of Gaussian Splatting (GS). Instead of optimizing every scene element uniformly, CoRe-GS first produces a fast segmentation-ready GS representation and then selectively refines splats belonging to semantically relevant POIs detected during data acquisition. This targeted refinement reduces training time to 25\% compared to full semantic GS while improving novel view synthesis quality in the areas that matter most. We validate CoRe-GS on both real-world (SCRREAM) and synthetic (NeRDS 360) datasets, demonstrating that prioritizing POIs enables faster and higher-quality mobile reconstruction tailored to operational needs.