GS-Pool: Object-Level Change Detection in 3D Gaussian Splatting

📄 arXiv: 2610.06688v1 📥 PDF

作者: Boaz Keren-Gil, James Gain, Patrick Marais

分类: cs.CV

发布日期: 2026-10-05

💡 一句话要点

提出GS-Pool以解决3D高斯点云中的物体级变化检测问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 3D高斯点云 物体级变化检测 深度学习 计算机视觉 数据融合

📋 核心要点

  1. 现有方法在物体级变化检测中面临重建结果不一致和数据稀缺的问题，导致无法准确识别变化物体。
  2. GS-Pool通过将两次独立重建的高斯场进行比较，利用掩膜合并和3D决策机制，解决了变化检测的准确性问题。
  3. 在PASLCD数据集上，GS-Pool的mIoU和F1分数分别达到0.751和0.846，显著优于现有方法，提升幅度达到17%和12%。

📝 摘要（中文）

工厂、博物馆和测量师在几个月后拍摄同一空间，需要了解哪些物体发生了变化。使用3D高斯点云重建的两次访问直接比较无法解决此问题。现有方法由于训练的随机性，导致相同空间的两次重建结果不一致。本文提出GS-Pool，利用独立重建的高斯场，返回每次访问中变化的物体及其掩膜。通过将每次访问照片的SAM2掩膜提升到对应的高斯上并合并成物体池，确保每个物体的决策在3D中仅进行一次。我们引入了一种摄影载体，将每次重建的3DGS训练损失与另一访问的照片进行反向传播，结合GS-Diff的几何和颜色项及我们提炼的DINOv3特征。实验结果表明，GS-Pool在PASLCD数据集上取得了0.751的mIoU和0.846的F1分数，相较于最强基线GS-Diff提升了17%和12%。

🔬 方法详解

问题定义：论文要解决的具体问题是如何在3D高斯点云中准确检测物体级变化。现有方法由于训练的随机性和数据稀缺，导致相同空间的两次重建结果不一致，无法有效识别变化物体。

核心思路：论文的核心解决思路是利用两次独立重建的高斯场，通过合并掩膜和3D决策机制，确保每个物体的变化检测在3D空间中仅进行一次，从而提高检测的准确性和效率。

技术框架：整体架构包括两个主要模块：首先是将每次访问的照片生成SAM2掩膜并提升到高斯上；其次是通过3DGS训练损失与另一访问的照片进行反向传播，结合几何和颜色项，形成完整的变化检测流程。

关键创新：最重要的技术创新点在于引入了3DGS训练损失作为摄影载体，并结合GS-Diff的几何和颜色信息，形成了一种新的变化检测机制，与现有方法相比，能够更准确地识别变化物体。

关键设计：关键设计包括对损失函数的设置，利用DINOv3特征进行特征提取，以及在高斯渲染中对每个像素进行反向传播的技术细节，这些设计确保了变化检测的高效性和准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

GS-Pool在PASLCD数据集上取得了0.751的mIoU和0.846的F1分数，相较于最强基线GS-Diff分别提升了17%和12%。此外，其mIoU在CL-Splats上达到0.855，超越MV-3DCD 33%。

🎯 应用场景

该研究的潜在应用领域包括工厂监控、博物馆展品管理和地理测绘等场景，能够有效识别和记录物体的变化，提升管理效率和数据准确性。未来，GS-Pool有望在智能监控和自动化巡检等领域发挥重要作用。

📄 摘要（原文）

Factories, museums and surveyors photograph the same space months apart and need to know which objects changed. When each visit is reconstructed with 3D Gaussian Splatting (3DGS), a direct comparison of the two reconstructions does not answer this. Training is stochastic, so two reconstructions of an unchanged space never coincide, and the second visit is often a quick re-scan with far fewer photographs. We propose GS-Pool, which takes two independently reconstructed Gaussian fields of the same space and returns the changed objects in each, together with their masks. SAM2 masks of each visit's photographs are lifted onto the Gaussians that render them and merged into an object pool, so every decision is taken once per object in 3D. We introduce a photographic carrier, the 3DGS training loss of each input reconstruction against the other visit's photographs, backpropagated to the Gaussians that rendered each pixel. We combine it with GS-Diff's geometry and colour terms and our distilled DINOv3 features. This evidence is compared with that of the objects present in both visits, which sets a change threshold for each scene. On PASLCD, GS-Pool reaches mIoU/F1 scores of 0.751/0.846 against 0.644/0.758 for GS-Diff, the strongest prior method, a gain of 17%/12%. Its mIoU is also 36%, 40% and 57% above that of O-SCD, PlenoCI and MV-3DCD, and it reaches 0.855 mIoU on CL-Splats, 33% above MV-3DCD. Each changed object is returned as a set of Gaussians with the evidence behind its decision, which an inspector can review in 3D.