DrivingGaussian++: Towards Realistic Reconstruction and Editable Simulation for Surrounding Dynamic Driving Scenes

📄 arXiv: 2508.20965v1 📥 PDF

作者: Yajiao Xiong, Xiaoyu Zhou, Yongtao Wan, Deqing Sun, Ming-Hsuan Yang

分类: cs.CV

发布日期: 2025-08-28

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

DrivingGaussian++：面向自动驾驶场景的真实重建与可编辑模拟

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 自动驾驶 场景重建 动态场景 高斯模型 可控编辑 LiDAR 环视合成 LLM

📋 核心要点

  1. 现有方法难以在动态自动驾驶场景中实现高精度和真实感的重建，尤其是在处理运动物体和遮挡关系时。
  2. DrivingGaussian++ 通过增量3D高斯模型和动态高斯图，结合LiDAR先验，实现了对静态背景和动态物体的精确建模。
  3. 实验结果表明，DrivingGaussian++ 在动态场景重建和环视合成方面优于现有方法，并支持免训练的可控编辑。

📝 摘要（中文）

DrivingGaussian++ 提出了一个高效且有效的框架，用于真实地重建和可控地编辑周围的动态自动驾驶场景。该方法使用增量3D高斯模型对静态背景进行建模，并使用复合动态高斯图重建移动物体，确保准确的位置和遮挡关系。通过整合 LiDAR 先验，实现了详细且一致的场景重建，在动态场景重建和逼真的环视合成方面优于现有方法。DrivingGaussian++ 支持对动态驾驶场景进行免训练的可控编辑，包括纹理修改、天气模拟和物体操作，利用多视图图像和深度先验。通过集成大型语言模型（LLM）和可控编辑，该方法可以自动生成动态物体的运动轨迹，并在优化过程中增强其真实感。DrivingGaussian++ 展示了一致且真实的编辑结果，并生成动态多视图驾驶场景，同时显著增强了场景多样性。

🔬 方法详解

问题定义：现有方法在动态自动驾驶场景的重建中，难以同时保证重建精度、真实感和可编辑性。尤其是在处理运动物体时，容易出现位置不准确、遮挡关系错误等问题，导致重建效果不佳。此外，现有方法通常缺乏对场景进行灵活编辑的能力，难以满足自动驾驶场景模拟的需求。

核心思路：DrivingGaussian++ 的核心思路是将静态背景和动态物体分别建模，并利用增量3D高斯模型和动态高斯图来表示它们。通过这种方式，可以更精确地捕捉场景中的几何和外观信息，并更好地处理运动物体和遮挡关系。此外，该方法还整合了 LiDAR 先验，以进一步提高重建精度和一致性。

技术框架：DrivingGaussian++ 的整体框架包括以下几个主要模块：1) 静态背景重建模块：使用增量3D高斯模型对静态背景进行建模。2) 动态物体重建模块：使用复合动态高斯图重建移动物体。3) LiDAR 先验整合模块：将 LiDAR 数据作为先验信息，用于提高重建精度和一致性。4) 可控编辑模块：支持对场景进行纹理修改、天气模拟和物体操作等编辑。

关键创新：DrivingGaussian++ 的关键创新在于：1) 提出了复合动态高斯图，用于更精确地重建运动物体。2) 整合了 LiDAR 先验，以提高重建精度和一致性。3) 支持免训练的可控编辑，可以灵活地修改场景。4) 结合LLM自动生成动态物体运动轨迹，增强真实感。

关键设计：在动态高斯图的构建中，论文设计了一种基于图结构的表示方法，用于描述运动物体之间的关系。在 LiDAR 先验整合中，论文设计了一种损失函数，用于约束重建结果与 LiDAR 数据的一致性。在可控编辑中，论文利用多视图图像和深度先验，实现了对场景的灵活修改。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

DrivingGaussian++ 在动态场景重建和环视合成方面优于现有方法，实现了更精确的场景重建和更逼真的渲染效果。通过整合 LiDAR 先验和动态高斯图，该方法能够更好地处理运动物体和遮挡关系。此外，DrivingGaussian++ 支持免训练的可控编辑，可以灵活地修改场景，并结合LLM自动生成动态物体运动轨迹，增强真实感。

🎯 应用场景

DrivingGaussian++ 可应用于自动驾驶仿真、虚拟现实、游戏开发等领域。它可以用于生成逼真的自动驾驶场景，帮助自动驾驶系统进行测试和验证。此外，它还可以用于创建虚拟现实环境，提供沉浸式的用户体验。在游戏开发中，它可以用于生成高质量的场景和角色。

📄 摘要（原文）

We present DrivingGaussian++, an efficient and effective framework for realistic reconstructing and controllable editing of surrounding dynamic autonomous driving scenes. DrivingGaussian++ models the static background using incremental 3D Gaussians and reconstructs moving objects with a composite dynamic Gaussian graph, ensuring accurate positions and occlusions. By integrating a LiDAR prior, it achieves detailed and consistent scene reconstruction, outperforming existing methods in dynamic scene reconstruction and photorealistic surround-view synthesis. DrivingGaussian++ supports training-free controllable editing for dynamic driving scenes, including texture modification, weather simulation, and object manipulation, leveraging multi-view images and depth priors. By integrating large language models (LLMs) and controllable editing, our method can automatically generate dynamic object motion trajectories and enhance their realism during the optimization process. DrivingGaussian++ demonstrates consistent and realistic editing results and generates dynamic multi-view driving scenarios, while significantly enhancing scene diversity. More results and code can be found at the project site: https://xiong-creator.github.io/DrivingGaussian_plus.github.io