3DGS-CD: 3D Gaussian Splatting-based Change Detection for Physical Object Rearrangement

📄 arXiv: 2411.03706v2 📥 PDF

作者: Ziqi Lu, Jianbo Ye, John Leonard

分类: cs.CV, cs.RO

发布日期: 2024-11-06 (更新: 2025-01-18)

🔗 代码/项目: GITHUB

💡 一句话要点

提出基于3D高斯溅射的3DGS-CD方法，用于检测物理对象重排列。

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 3D高斯溅射 变化检测 对象重排列 零样本分割 场景理解

📋 核心要点

  1. 现有方法在复杂场景中检测对象重排列时，通常依赖深度信息或预定义的物体模型，限制了其适用性。
  2. 3DGS-CD利用3D高斯溅射的新视角渲染和EfficientSAM的零样本分割能力，无需深度信息和物体模型即可检测变化。
  3. 实验结果表明，该方法在准确率和速度上均优于现有方法，为对象重建、机器人工作空间重置等应用提供了可能。

📝 摘要（中文）

本文提出了一种基于3D高斯溅射(3DGS)的3DGS-CD方法，用于检测3D场景中物理对象的重排列。该方法通过比较不同时间拍摄的两组未对齐图像来估计3D对象级别的变化。利用3DGS的新视角渲染和EfficientSAM的零样本分割能力，检测2D对象级别的变化，然后跨视图关联和融合这些变化，以估计3D变化掩码和对象变换。该方法可以在杂乱的环境中使用稀疏的（少至一张）变化后图像在短短18秒内准确识别变化。它不依赖于深度输入、用户指令、预定义的对象类别或对象模型——仅当对象被重新排列时才会被识别。该方法在公共和自收集的真实世界数据集上进行了评估，与最先进的基于辐射场的变化检测方法相比，准确率提高了14%，性能提高了三个数量级。这种显著的性能提升支持了广泛的下游应用，本文重点介绍了三个关键用例：对象重建、机器人工作空间重置和3DGS模型更新。代码和数据将在https://github.com/520xyxyzq/3DGS-CD上提供。

🔬 方法详解

问题定义：论文旨在解决在3D场景中，如何高效、准确地检测物理对象的重排列问题。现有方法通常依赖于深度信息、预定义的物体类别或物体模型，这限制了它们在复杂、动态环境中的应用。例如，基于辐射场的方法计算成本高昂，难以满足实时性要求。

核心思路：论文的核心思路是利用3D高斯溅射（3DGS）的快速渲染能力和EfficientSAM的零样本分割能力，将3D变化检测问题分解为2D变化检测和跨视图融合两个步骤。通过在2D图像上检测对象级别的变化，然后将这些变化关联和融合到3D空间中，从而实现对3D对象重排列的检测。这种方法避免了直接在3D空间中进行复杂计算，提高了效率。

技术框架：3DGS-CD的整体框架包含以下几个主要阶段：1) 使用3DGS重建场景；2) 利用EfficientSAM对前后两组图像进行零样本分割，得到2D对象掩码；3) 通过比较前后两组图像的2D对象掩码，检测2D对象级别的变化；4) 将检测到的2D变化关联和融合到3D空间中，估计3D变化掩码和对象变换。

关键创新：该方法最重要的技术创新点在于将3D高斯溅射和零样本分割相结合，实现了一种无需深度信息、物体模型或预定义类别即可进行3D对象重排列检测的方法。与传统的基于深度或模型的变化检测方法相比，该方法具有更高的灵活性和适用性。此外，利用3DGS的快速渲染能力，显著提高了检测速度。

关键设计：在2D变化检测阶段，使用了EfficientSAM进行零样本分割，无需预先训练或标注数据。在跨视图融合阶段，采用了基于几何一致性的方法，将2D变化关联到3D空间中，并估计3D变化掩码和对象变换。具体的参数设置和损失函数细节在论文中未详细说明，属于未知信息。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，3DGS-CD在公共和自收集的真实世界数据集上均取得了显著的性能提升。与最先进的基于辐射场的变化检测方法相比，准确率提高了高达14%，性能提高了三个数量级。该方法能够在短短18秒内使用稀疏的后变化图像识别变化，展示了其高效性和实用性。

🎯 应用场景

该研究成果可广泛应用于机器人、增强现实、智能监控等领域。例如，在机器人领域，可以帮助机器人自动重置工作空间，检测异常物体移动。在增强现实领域，可以用于场景理解和交互。在智能监控领域，可以用于检测异常行为和安全事件。未来，该技术有望进一步应用于自动驾驶、三维重建等领域。

📄 摘要（原文）

We present 3DGS-CD, the first 3D Gaussian Splatting (3DGS)-based method for detecting physical object rearrangements in 3D scenes. Our approach estimates 3D object-level changes by comparing two sets of unaligned images taken at different times. Leveraging 3DGS's novel view rendering and EfficientSAM's zero-shot segmentation capabilities, we detect 2D object-level changes, which are then associated and fused across views to estimate 3D change masks and object transformations. Our method can accurately identify changes in cluttered environments using sparse (as few as one) post-change images within as little as 18s. It does not rely on depth input, user instructions, pre-defined object classes, or object models -- An object is recognized simply if it has been re-arranged. Our approach is evaluated on both public and self-collected real-world datasets, achieving up to 14% higher accuracy and three orders of magnitude faster performance compared to the state-of-the-art radiance-field-based change detection method. This significant performance boost enables a broad range of downstream applications, where we highlight three key use cases: object reconstruction, robot workspace reset, and 3DGS model update. Our code and data will be made available at https://github.com/520xyxyzq/3DGS-CD.