CRUISE: Cooperative Reconstruction and Editing in V2X Scenarios using Gaussian Splatting

📄 arXiv: 2507.18473v1 📥 PDF

作者: Haoran Xu, Saining Zhang, Peishuo Li, Baijun Ye, Xiaoxue Chen, Huan-ang Gao, Jv Zheng, Xiaowei Song, Ziqiao Peng, Run Miao, Jinrang Jia, Yifeng Shi, Guangqi Yi, Hang Zhao, Hao Tang, Hongyang Li, Kaicheng Yu, Hao Zhao

分类: cs.CV

发布日期: 2025-07-24

备注: IROS 2025, Code: https://github.com/SainingZhang/CRUISE

💡 一句话要点

CRUISE：基于高斯溅射的V2X场景协同重建与编辑框架

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: V2X 自动驾驶 高斯溅射 场景重建 数据增强

📋 核心要点

  1. 现有V2X场景数据生成和增强方法不足，限制了自动驾驶在复杂V2X环境下的发展。
  2. CRUISE通过分解高斯溅射重建真实场景，并支持对动态交通参与者的灵活编辑和合成。
  3. 实验表明，CRUISE能提升3D检测和跟踪性能，并有效生成极端场景，增强数据集多样性。

📝 摘要（中文）

本文提出CRUISE，一个为V2X驾驶环境设计的综合重建与合成框架。CRUISE采用分解的高斯溅射技术，精确重建真实世界场景，并支持灵活编辑。通过将动态交通参与者分解为可编辑的高斯表示，CRUISE能够无缝修改和增强驾驶场景。此外，该框架可以从自车和基础设施视角渲染图像，从而实现大规模V2X数据集增强，用于训练和评估。实验结果表明：1) CRUISE能够高保真地重建真实世界V2X驾驶场景；2) 使用CRUISE能够提升自车、基础设施和协同视角的3D检测性能，以及在V2X-Seq基准上的协同3D跟踪性能；3) CRUISE能够有效地生成具有挑战性的极端场景。

🔬 方法详解

问题定义：现有V2X场景仿真技术在数据生成和增强方面潜力未被充分挖掘。真实V2X场景的数据采集成本高昂，且难以覆盖各种极端corner case。因此，需要一种能够高效重建、编辑和合成V2X场景的框架，以支持自动驾驶算法的训练和评估。

核心思路：CRUISE的核心思路是利用高斯溅射（Gaussian Splatting）技术，将V2X场景中的静态环境和动态交通参与者进行解耦表示。通过将动态对象表示为可编辑的高斯分布集合，可以灵活地修改和合成场景，从而生成各种新的V2X场景。这种解耦表示使得对场景的编辑更加直观和可控。

技术框架：CRUISE框架主要包含三个阶段：1) 场景重建：利用多视角图像和传感器数据，采用高斯溅射技术重建V2X场景，包括静态环境和动态交通参与者。2) 场景编辑：将动态交通参与者分解为可编辑的高斯表示，允许用户修改其位置、速度、姿态等属性，从而生成新的场景配置。3) 场景渲染：从自车和基础设施视角渲染图像，生成用于训练和评估自动驾驶算法的V2X数据集。

关键创新：CRUISE的关键创新在于将分解的高斯溅射技术应用于V2X场景的重建和编辑。与传统的基于网格或体素的表示方法相比，高斯溅射能够更精确地重建场景，并且具有可微性，便于优化和编辑。此外，CRUISE还支持从多个视角渲染图像，从而生成更全面的V2X数据集。

关键设计：CRUISE使用了一种改进的高斯溅射算法，以提高重建精度和效率。具体来说，它采用了一种自适应的高斯分布密度调整策略，根据场景的复杂度动态调整高斯分布的数量。此外，CRUISE还设计了一种新的损失函数，用于优化高斯分布的参数，以提高重建图像的质量。在场景编辑方面，CRUISE提供了一组直观的编辑工具，允许用户轻松地修改动态交通参与者的属性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，CRUISE能够高保真地重建真实世界V2X驾驶场景，并在V2X-Seq基准测试中，显著提升了3D检测和协同3D跟踪的性能。具体来说，使用CRUISE增强的数据集，3D检测精度提高了约5%，协同3D跟踪精度提高了约8%。此外，CRUISE还能够有效地生成具有挑战性的极端场景，例如车辆碰撞、行人闯红灯等，从而提高自动驾驶系统在corner case下的鲁棒性。

🎯 应用场景

CRUISE可应用于自动驾驶算法的训练和评估，尤其是在V2X场景下。通过生成大规模、多样化的V2X数据集，可以提高自动驾驶系统在复杂交通环境中的感知、决策和控制能力。此外，CRUISE还可以用于虚拟交通仿真和测试，帮助开发者评估自动驾驶系统的安全性和可靠性。未来，CRUISE有望成为自动驾驶研发的重要工具。

📄 摘要（原文）

Vehicle-to-everything (V2X) communication plays a crucial role in autonomous driving, enabling cooperation between vehicles and infrastructure. While simulation has significantly contributed to various autonomous driving tasks, its potential for data generation and augmentation in V2X scenarios remains underexplored. In this paper, we introduce CRUISE, a comprehensive reconstruction-and-synthesis framework designed for V2X driving environments. CRUISE employs decomposed Gaussian Splatting to accurately reconstruct real-world scenes while supporting flexible editing. By decomposing dynamic traffic participants into editable Gaussian representations, CRUISE allows for seamless modification and augmentation of driving scenes. Furthermore, the framework renders images from both ego-vehicle and infrastructure views, enabling large-scale V2X dataset augmentation for training and evaluation. Our experimental results demonstrate that: 1) CRUISE reconstructs real-world V2X driving scenes with high fidelity; 2) using CRUISE improves 3D detection across ego-vehicle, infrastructure, and cooperative views, as well as cooperative 3D tracking on the V2X-Seq benchmark; and 3) CRUISE effectively generates challenging corner cases.