Multi-View Pose-Agnostic Change Localization with Zero Labels
作者: Chamuditha Jayanga Galappaththige, Jason Lai, Lloyd Windrim, Donald Dansereau, Niko Suenderhauf, Dimity Miller
分类: cs.CV
发布日期: 2024-12-05 (更新: 2025-03-20)
备注: Accepted at CVPR 2025
💡 一句话要点
提出一种无标签、视角无关的多视角变化定位方法，基于3D高斯溅射实现。
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 变化检测 多视角 3D高斯溅射 无监督学习 场景重建
📋 核心要点
- 现有方法难以在视角不一致的情况下准确检测和定位环境中的变化。
- 利用多视角信息构建变化感知的3D高斯溅射表示，无需标签即可检测变化。
- 实验表明，该方法在复杂场景中显著优于现有技术，并贡献了新的数据集。
📝 摘要（中文）
本文提出了一种新颖的、无标签的、视角无关的变化检测方法，该方法集成了来自多个视角的信息，构建了场景的具有变化感知能力的3D高斯溅射(3DGS)表示。仅需后变化场景的5张图像，该方法即可在3DGS中学习额外的变化通道，并生成优于单视角技术的变化掩码。此外，具有变化感知能力的3D场景表示能够为未见过的视角生成准确的变化掩码。实验结果表明，在复杂的多对象场景中，该方法实现了最先进的性能，在平均交并比和F1分数方面分别比其他基线提高了1.7倍和1.5倍。同时，本文贡献了一个新的真实世界数据集，用于在存在光照变化等多种挑战性场景中对变化检测进行基准测试。
🔬 方法详解
问题定义：论文旨在解决在视角不受约束且不一致的情况下，如何准确检测和定位环境中变化的问题。现有方法在处理多视角、视角变化大的场景时，性能会显著下降，并且通常需要大量的标注数据进行训练，这限制了其在实际应用中的部署。
核心思路：论文的核心思路是利用3D高斯溅射（3DGS）来表示场景，并在此基础上学习一个额外的“变化通道”。通过多视角的图像信息，优化3DGS的参数，使得该表示能够区分场景中发生变化的部分。这种方法无需任何标签信息，并且能够处理视角变化带来的挑战。
技术框架：该方法主要包含以下几个阶段：1) 使用多视角图像作为输入；2) 初始化一个3DGS场景表示；3) 通过优化3DGS的参数（包括位置、颜色、不透明度等）来拟合后变化场景的图像；4) 在3DGS中学习一个额外的“变化通道”，该通道的值表示该位置发生变化的概率；5) 通过阈值化变化通道的值，生成变化掩码。
关键创新：该方法最重要的创新点在于：1) 提出了一种无标签的变化检测方法，避免了对大量标注数据的需求；2) 利用3DGS表示场景，能够有效地处理视角变化带来的挑战；3) 引入了“变化通道”的概念，使得3DGS能够显式地表示场景中的变化。
关键设计：论文的关键设计包括：1) 使用少量（5张）后变化场景的图像进行训练；2) 使用基于图像重建损失的优化目标来训练3DGS；3) 通过实验确定变化通道的阈值，以生成准确的变化掩码；4) 提出的数据集包含各种具有挑战性的场景，例如光照变化、遮挡等。
🖼️ 关键图片
📊 实验亮点
实验结果表明，该方法在复杂的多对象场景中取得了state-of-the-art的性能，在平均交并比（Mean Intersection Over Union）和F1分数方面分别比其他基线提高了1.7倍和1.5倍。此外，该方法仅需5张后变化场景的图像即可进行训练，具有很高的效率。
🎯 应用场景
该研究成果可应用于自动驾驶、机器人导航、安防监控等领域。例如，自动驾驶汽车可以利用该方法检测道路上的障碍物或交通标志的变化，从而提高行驶安全性。机器人可以利用该方法检测工作环境中的变化，从而更好地完成任务。安防监控系统可以利用该方法检测异常事件，例如入侵或盗窃。
📄 摘要（原文）
Autonomous agents often require accurate methods for detecting and localizing changes in their environment, particularly when observations are captured from unconstrained and inconsistent viewpoints. We propose a novel label-free, pose-agnostic change detection method that integrates information from multiple viewpoints to construct a change-aware 3D Gaussian Splatting (3DGS) representation of the scene. With as few as 5 images of the post-change scene, our approach can learn an additional change channel in a 3DGS and produce change masks that outperform single-view techniques. Our change-aware 3D scene representation additionally enables the generation of accurate change masks for unseen viewpoints. Experimental results demonstrate state-of-the-art performance in complex multi-object scenes, achieving a 1.7x and 1.5x improvement in Mean Intersection Over Union and F1 score respectively over other baselines. We also contribute a new real-world dataset to benchmark change detection in diverse challenging scenes in the presence of lighting variations.