DIAL-GS: Dynamic Instance Aware Reconstruction for Label-free Street Scenes with 4D Gaussian Splatting

📄 arXiv: 2511.06632v1 📥 PDF

作者: Chenpeng Su, Wenhua Wu, Chensheng Peng, Tianchen Deng, Zhe Liu, Hesheng Wang

分类: cs.CV

发布日期: 2025-11-10

💡 一句话要点

DIAL-GS：用于无标签街景的动态实例感知4D高斯溅射重建

🎯 匹配领域: 支柱三：空间感知 (Perception & SLAM)

关键词: 动态场景重建 4D高斯溅射 自监督学习 实例感知 自动驾驶

📋 核心要点

  1. 现有自监督街景重建方法难以区分静态与动态元素，且缺乏对动态实例的精细化建模能力，限制了场景编辑。
  2. DIAL-GS利用外观-位置不一致性检测动态实例，并采用实例感知的4D高斯溅射进行动态场景的统一表示与重建。
  3. 实验表明，DIAL-GS在重建质量和实例级别编辑方面优于现有自监督方法，为城市场景建模提供有效方案。

📝 摘要（中文）

城市场景重建对于自动驾驶至关重要，它能够为数据合成和闭环测试提供结构化的3D表示。有监督方法依赖于昂贵的人工标注，缺乏可扩展性；而现有的自监督方法常常混淆静态和动态元素，并且无法区分单个动态对象，限制了细粒度的编辑能力。我们提出了DIAL-GS，一种新颖的动态实例感知重建方法，它使用4D高斯溅射技术处理无标签街景。我们首先通过利用扭曲渲染和实际观测之间的外观-位置不一致性来准确识别动态实例。在实例级别的动态感知引导下，我们采用实例感知的4D高斯作为统一的体素表示，实现动态自适应和实例感知的重建。此外，我们引入了一种互惠机制，通过该机制，身份和动态相互加强，从而增强完整性和一致性。在城市驾驶场景中的实验表明，DIAL-GS在重建质量和实例级别的编辑方面超越了现有的自监督基线，为城市场景建模提供了一种简洁而强大的解决方案。

🔬 方法详解

问题定义：现有自监督街景重建方法在处理动态场景时，容易混淆静态和动态元素，无法有效区分和建模单个动态实例。这导致重建质量下降，并且难以进行细粒度的场景编辑和控制。因此，需要一种能够准确识别和重建动态实例的自监督方法。

核心思路：DIAL-GS的核心思路是利用动态实例在时间和空间上的不一致性来识别它们，并使用实例感知的4D高斯溅射来表示和重建动态场景。通过将动态实例与静态背景分离，并对每个实例进行独立建模，可以提高重建质量和编辑能力。此外，论文还引入了一种互惠机制，通过身份和动态的相互加强，来提升重建的完整性和一致性。

技术框架：DIAL-GS的整体框架包含以下几个主要模块：1) 动态实例检测模块：通过比较扭曲渲染和实际观测之间的外观-位置不一致性来识别动态实例。2) 实例感知4D高斯溅射模块：使用4D高斯溅射来表示动态场景，并为每个实例分配独立的4D高斯参数。3) 互惠机制模块：通过身份和动态的相互加强，来提升重建的完整性和一致性。整个流程首先进行动态实例检测，然后使用实例感知的4D高斯溅射进行重建，最后通过互惠机制进行优化。

关键创新：DIAL-GS的关键创新在于以下几个方面：1) 提出了一种基于外观-位置不一致性的动态实例检测方法，无需人工标注即可准确识别动态实例。2) 引入了实例感知的4D高斯溅射，能够对动态场景进行统一的表示和重建，并支持细粒度的场景编辑。3) 设计了一种互惠机制，通过身份和动态的相互加强，来提升重建的完整性和一致性。与现有方法相比，DIAL-GS能够更好地处理动态场景，并提供更高的重建质量和编辑能力。

关键设计：在动态实例检测模块中，论文使用了光流估计来计算扭曲渲染，并比较扭曲渲染和实际观测之间的像素差异。在实例感知4D高斯溅射模块中，论文使用了可微分渲染技术，并优化每个高斯参数，包括位置、旋转、缩放和颜色。在互惠机制模块中，论文设计了一个损失函数，鼓励身份和动态之间的一致性。具体的参数设置和网络结构在论文中有详细描述。

📊 实验亮点

DIAL-GS在城市驾驶场景中进行了实验，结果表明，该方法在重建质量和实例级别的编辑方面均优于现有的自监督基线。具体而言，DIAL-GS在重建精度方面取得了显著提升，能够更准确地重建动态实例的形状和外观。此外，DIAL-GS还支持对动态实例进行细粒度的编辑，例如改变其位置、姿态和颜色，这为场景编辑和数据增强提供了便利。

🎯 应用场景

DIAL-GS在自动驾驶、机器人导航、虚拟现实和增强现实等领域具有广泛的应用前景。它可以用于生成高质量的城市环境3D模型，为自动驾驶车辆提供更准确的感知和定位信息。此外，它还可以用于创建逼真的虚拟环境，为游戏开发和虚拟现实应用提供支持。该研究的成果有助于推动城市数字化和智能化发展。

📄 摘要（原文）

Urban scene reconstruction is critical for autonomous driving, enabling structured 3D representations for data synthesis and closed-loop testing. Supervised approaches rely on costly human annotations and lack scalability, while current self-supervised methods often confuse static and dynamic elements and fail to distinguish individual dynamic objects, limiting fine-grained editing. We propose DIAL-GS, a novel dynamic instance-aware reconstruction method for label-free street scenes with 4D Gaussian Splatting. We first accurately identify dynamic instances by exploiting appearance-position inconsistency between warped rendering and actual observation. Guided by instance-level dynamic perception, we employ instance-aware 4D Gaussians as the unified volumetric representation, realizing dynamic-adaptive and instance-aware reconstruction. Furthermore, we introduce a reciprocal mechanism through which identity and dynamics reinforce each other, enhancing both integrity and consistency. Experiments on urban driving scenarios show that DIAL-GS surpasses existing self-supervised baselines in reconstruction quality and instance-level editing, offering a concise yet powerful solution for urban scene modeling.