High-Fidelity Digital Twins for Bridging the Sim2Real Gap in LiDAR-Based ITS Perception

📄 arXiv: 2509.02904v1 📥 PDF

作者: Muhammad Shahbaz, Shaurya Agarwal

分类: cs.CV

发布日期: 2025-09-03

💡 一句话要点

提出高保真数字孪生框架，弥合LiDAR智能交通感知中的Sim2Real差距

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: 数字孪生 Sim2Real 域适应 LiDAR感知 智能交通系统

📋 核心要点

  1. 现有Sim2Real方法在LiDAR感知中存在域偏移问题，导致模型在真实数据上表现不佳。
  2. 论文提出高保真数字孪生框架，通过模拟真实环境特征，生成更逼真的合成数据。
  3. 实验表明，使用数字孪生数据训练的模型在真实数据上性能提升4.8%，有效缩小了域差距。

📝 摘要（中文）

本文提出了一种高保真数字孪生(HiFi DT)框架，旨在解决基于LiDAR的智能交通系统(ITS)感知中Sim2Real的域迁移问题。该框架通过整合真实世界的背景几何、车道级道路拓扑以及传感器特定的规格和位置，构建更真实的仿真环境。论文形式化了Sim2Real学习中的域适应挑战，并提出了一种系统化的方法来构建生成同域合成数据的仿真环境。使用HiFi DT生成的合成数据训练了一个现成的3D目标检测器，并在真实数据上进行了评估。实验结果表明，使用DT训练的模型比使用真实数据训练的同等模型性能提高了4.8%。通过Chamfer距离(CD)、最大均值差异(MMD)、Earth Mover距离(EMD)和Fréchet距离(FD)等多种指标，在原始输入和潜在特征层面量化了合成数据和真实数据之间的分布对齐程度。结果表明，HiFi DT显著减少了域偏移，并提高了在不同评估场景中的泛化能力。这些发现强调了数字孪生在实现可靠的、基于仿真的LiDAR感知在真实世界ITS应用中的重要作用。

🔬 方法详解

问题定义：论文旨在解决基于LiDAR的智能交通系统感知中，由于仿真环境与真实环境存在差异而导致的Sim2Real域迁移问题。现有方法生成的合成数据与真实数据存在较大的分布差异，使得在合成数据上训练的模型在真实数据上的泛化能力较差。

核心思路：论文的核心思路是构建一个高保真数字孪生(HiFi DT)环境，该环境能够尽可能地模拟真实世界的各种特征，包括背景几何、道路拓扑、传感器规格和位置等。通过在HiFi DT中生成合成数据，可以有效减小合成数据与真实数据之间的分布差异，从而提高模型在真实数据上的性能。

技术框架：该框架包含以下几个主要步骤：1) 构建高保真数字孪生环境，包括真实世界的背景几何、车道级道路拓扑以及传感器特定的规格和位置；2) 在数字孪生环境中生成合成LiDAR数据；3) 使用合成数据训练3D目标检测器；4) 在真实数据上评估训练好的模型性能；5) 使用多种指标（CD, MMD, EMD, FD）量化合成数据和真实数据之间的分布差异。

关键创新：论文的关键创新在于提出了高保真数字孪生(HiFi DT)的概念，并系统地构建了一个能够有效模拟真实世界环境的仿真平台。与传统的仿真环境相比，HiFi DT更加注重细节的还原，例如真实世界的背景几何和车道级道路拓扑，从而使得生成的合成数据更接近真实数据。

关键设计：论文中使用了现成的3D目标检测器，并没有对网络结构进行特别的设计。关键在于如何构建高保真数字孪生环境，以及如何选择合适的指标来量化合成数据和真实数据之间的分布差异。论文使用了Chamfer距离(CD)、最大均值差异(MMD)、Earth Mover距离(EMD)和Fréchet距离(FD)等多种指标，从不同角度评估了合成数据和真实数据之间的相似度。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，使用HiFi DT生成的合成数据训练的3D目标检测器，在真实数据上的性能比使用真实数据训练的同等模型提高了4.8%。此外，通过多种指标（CD, MMD, EMD, FD）的量化分析，证明了HiFi DT能够有效减小合成数据和真实数据之间的分布差异。

🎯 应用场景

该研究成果可应用于自动驾驶、智能交通管理、城市规划等领域。通过高保真数字孪生技术，可以降低自动驾驶算法的开发和测试成本，提高智能交通系统的安全性和效率。未来，该技术还可以扩展到其他类型的传感器和应用场景，例如视觉感知、毫米波雷达感知等。

📄 摘要（原文）

Sim2Real domain transfer offers a cost-effective and scalable approach for developing LiDAR-based perception (e.g., object detection, tracking, segmentation) in Intelligent Transportation Systems (ITS). However, perception models trained in simulation often under perform on real-world data due to distributional shifts. To address this Sim2Real gap, this paper proposes a high-fidelity digital twin (HiFi DT) framework that incorporates real-world background geometry, lane-level road topology, and sensor-specific specifications and placement. We formalize the domain adaptation challenge underlying Sim2Real learning and present a systematic method for constructing simulation environments that yield in-domain synthetic data. An off-the-shelf 3D object detector is trained on HiFi DT-generated synthetic data and evaluated on real data. Our experiments show that the DT-trained model outperforms the equivalent model trained on real data by 4.8%. To understand this gain, we quantify distributional alignment between synthetic and real data using multiple metrics, including Chamfer Distance (CD), Maximum Mean Discrepancy (MMD), Earth Mover's Distance (EMD), and Fr'echet Distance (FD), at both raw-input and latent-feature levels. Results demonstrate that HiFi DTs substantially reduce domain shift and improve generalization across diverse evaluation scenarios. These findings underscore the significant role of digital twins in enabling reliable, simulation-based LiDAR perception for real-world ITS applications.