Gaussian Splatting is an Effective Data Generator for 3D Object Detection

📄 arXiv: 2504.16740v1 📥 PDF

作者: Farhad G. Zanjani, Davide Abati, Auke Wiggers, Dimitris Kalatzis, Jens Petersen, Hong Cai, Amirhossein Habibian

分类: cs.CV

发布日期: 2025-04-23

💡 一句话要点

利用高斯溅射进行数据增强，提升自动驾驶3D目标检测性能

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 高斯溅射 数据增强 3D目标检测 自动驾驶 几何变换

📋 核心要点

  1. 现有基于扩散模型的3D数据增强方法难以保证物体放置的物理合理性和精确的3D姿态标注。
  2. 提出了一种基于高斯溅射的3D数据增强方法，直接在3D空间中放置物体并施加几何变换，保证了物理合理性和标注精度。
  3. 实验表明，该方法显著提升了3D目标检测性能，优于现有扩散模型方法，且几何多样性比外观多样性更重要。

📝 摘要（中文）

本文研究了自动驾驶中3D目标检测的数据增强方法。利用基于高斯溅射的3D重建技术，将3D物体放置到驾驶场景中。与现有的基于扩散模型的方法不同，本文直接在重建的3D空间中放置3D物体，并显式地施加几何变换。这确保了物体放置的物理合理性以及高度精确的3D姿态和位置标注。实验表明，即使仅将少量外部3D物体集成到真实场景中，增强的数据也能显著提高3D目标检测性能，并优于现有的基于扩散的3D增强方法。在nuScenes数据集上的大量测试表明，在物体放置中施加高的几何多样性比物体的外观多样性具有更大的影响。此外，生成困难样本（通过最大化检测损失或在相机图像中施加高视觉遮挡）并不能更有效地进行基于相机的自动驾驶3D数据增强。

🔬 方法详解

问题定义：现有基于扩散模型的3D数据增强方法，虽然能够生成新的图像，但在3D目标检测任务中存在一些痛点。首先，这些方法通常基于BEV布局生成图像，难以保证生成的3D物体在场景中的物理合理性，例如物体之间的遮挡关系、物体与地面的接触等。其次，这些方法生成的3D物体的姿态和位置标注精度有限，这会影响3D目标检测模型的训练效果。

核心思路：本文的核心思路是利用高斯溅射（Gaussian Splatting）技术，直接在重建的3D空间中放置3D物体，并显式地施加几何变换。高斯溅射能够精确地重建3D场景，从而保证了物体放置的物理合理性。通过显式地施加几何变换，可以精确地控制3D物体的位置、姿态和尺度，从而获得高度精确的3D标注。

技术框架：该方法主要包含以下几个步骤：1) 使用高斯溅射重建真实驾驶场景的3D模型。2) 从外部3D物体库中选择要插入的物体。3) 在3D场景中选择一个合适的位置，并随机生成一个几何变换（包括旋转、平移和缩放）。4) 将3D物体应用该几何变换后插入到3D场景中。5) 将增强后的3D场景渲染成新的图像，并生成相应的3D目标检测标注。

关键创新：该方法最重要的技术创新点在于，它直接在3D空间中进行数据增强，而不是像现有方法那样在2D图像空间或BEV空间中进行。这种方法能够更好地控制3D物体的物理合理性和标注精度。与现有方法相比，该方法能够生成更高质量的3D数据增强样本，从而提升3D目标检测模型的性能。

关键设计：在物体放置的位置选择上，作者尝试了随机放置和基于损失最大化的放置策略。在几何变换的参数设置上，作者对旋转、平移和缩放的范围进行了实验，以探索几何多样性对模型性能的影响。此外，作者还研究了不同数量的增强样本对模型性能的影响。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，使用高斯溅射进行数据增强能够显著提升3D目标检测性能，在nuScenes数据集上优于现有的基于扩散的3D增强方法。研究还发现，在物体放置中施加高的几何多样性比物体的外观多样性具有更大的影响。此外，生成困难样本并不能更有效地进行基于相机的自动驾驶3D数据增强。

🎯 应用场景

该研究成果可应用于自动驾驶、机器人导航等领域，通过数据增强提高3D目标检测的准确性和鲁棒性。高质量的3D数据生成方法能够降低对大量真实标注数据的依赖，加速相关算法的开发和部署，并提升自动驾驶系统的安全性。

📄 摘要（原文）

We investigate data augmentation for 3D object detection in autonomous driving. We utilize recent advancements in 3D reconstruction based on Gaussian Splatting for 3D object placement in driving scenes. Unlike existing diffusion-based methods that synthesize images conditioned on BEV layouts, our approach places 3D objects directly in the reconstructed 3D space with explicitly imposed geometric transformations. This ensures both the physical plausibility of object placement and highly accurate 3D pose and position annotations. Our experiments demonstrate that even by integrating a limited number of external 3D objects into real scenes, the augmented data significantly enhances 3D object detection performance and outperforms existing diffusion-based 3D augmentation for object detection. Extensive testing on the nuScenes dataset reveals that imposing high geometric diversity in object placement has a greater impact compared to the appearance diversity of objects. Additionally, we show that generating hard examples, either by maximizing detection loss or imposing high visual occlusion in camera images, does not lead to more efficient 3D data augmentation for camera-based 3D object detection in autonomous driving.