Real2Sim: A Physics-driven and Editable Gaussian Splatting Framework for Autonomous Driving Scenes

📄 arXiv: 2605.13591v1 📥 PDF

作者: Kaicong Huang, Talha Azfar, Weisong Shi, Ruimin Ke

分类: cs.CV

发布日期: 2026-05-13

💡 一句话要点

提出Real2Sim以解决自动驾驶场景生成中的现实差距问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 自动驾驶 数据生成 物理模拟 高斯点云 场景重建 深度学习 机器学习

📋 核心要点

  1. 现有的自动驾驶数据生成方法面临手动数据收集资源密集和传统模拟存在现实差距的挑战。
  2. 本文提出Real2Sim框架，结合4D高斯点云与可微分材料点法，重建动态场景并支持实例级编辑。
  3. 实验结果表明，Real2Sim在渲染、重建和物理模拟方面表现优异，展示了其在数据生成中的应用潜力。

📝 摘要（中文）

可靠的自动驾驶依赖于大规模的高质量标注数据和稳健的模型。然而，手动数据收集资源密集，传统模拟存在持续的现实差距。尽管最近的生成框架和辐射场方法提高了视觉保真度，但在时间和空间一致性方面仍面临挑战，且无法确保物理意识行为，限制了其在驾驶场景生成中的适用性。为了解决这些问题，本文提出了Real2Sim，一个结合4D高斯点云（4DGS）与可微分材料点法（MPM）求解器的统一框架。Real2Sim明确重建动态驾驶场景为时间连续的高斯原语，支持实例级编辑，并模拟真实的物体间和物体与环境的交互。该框架实现了物理意识的高保真合成，能够生成多样的可编辑场景，包括碰撞和后续轨迹等复杂情况。Waymo开放数据集上的实验验证了Real2Sim在渲染、重建、编辑和物理模拟方面的能力，展示了其作为下游任务数据生成工具的潜力。

🔬 方法详解

问题定义：本文旨在解决自动驾驶场景生成中的现实差距问题，现有方法在时间和空间一致性及物理行为模拟方面存在不足。

核心思路：Real2Sim框架通过结合4D高斯点云和可微分材料点法，能够重建动态场景并支持物理交互，确保生成场景的高保真度和可编辑性。

技术框架：该框架主要包括两个模块：4D高斯点云模块用于场景重建，材料点法模块用于物理模拟。整体流程为：输入场景数据，经过重建和编辑后，输出高保真的动态场景。

关键创新：Real2Sim的核心创新在于将4D高斯点云与可微分材料点法结合，显著提高了场景生成的物理一致性和编辑能力，这是与现有方法的本质区别。

关键设计：在设计中，采用了特定的损失函数以优化场景的物理交互效果，并在网络结构中引入了动态更新机制，以确保生成场景的时间连续性和一致性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，Real2Sim在Waymo开放数据集上的表现优于传统方法，特别是在场景渲染和物理模拟方面，生成的场景在视觉保真度和物理一致性上均有显著提升，验证了其作为数据生成工具的有效性。

🎯 应用场景

Real2Sim框架具有广泛的应用潜力，特别是在自动驾驶领域的数据生成、感知、跟踪、轨迹预测和端到端策略学习等任务中。其高保真的场景合成能力能够为训练和验证自动驾驶系统提供丰富的数据支持，推动智能交通的发展。

📄 摘要（原文）

Reliable autonomous driving relies on large-scale, well-labeled data and robust models. However, manual data collection is resource-intensive, and traditional simulation suffers from a persistent reality gap. While recent generative frameworks and radiance-field methods improve visual fidelity, they still struggle with temporal and spatial consistency and cannot ensure physics-aware behavior, limiting their applicability to driving scenario generation. To address these challenges, we propose Real2Sim, an unified framework that combines 4D Gaussian Splatting (4DGS) with a differentiable Material Point Method (MPM) solver. Real2Sim explicitly reconstructs dynamic driving scenes as temporally continuous Gaussian primitives, supports instance-level editing, and simulates realistic object-object and object-environment interactions. This framework enables physics-aware, high-fidelity synthesis of diverse, editable scenarios, including challenging corner cases such as collisions and post-impact trajectories. Experiments on the Waymo Open Dataset validate Real2Sim's capabilities in rendering, reconstruction, editing, and physics simulation, demonstrating its potential as a scalable tool for data generation in downstream tasks such as perception, tracking, trajectory prediction, and end-to-end policy learning.