UrbanTwin: Building High-Fidelity Digital Twins for Sim2Real LiDAR Perception and Evaluation

📄 arXiv: 2509.02903v2 📥 PDF

作者: Muhammad Shahbaz, Shaurya Agarwal

分类: cs.CV

发布日期: 2025-09-03 (更新: 2025-10-14)

💡 一句话要点

UrbanTwin：构建高保真数字孪生，用于Sim2Real LiDAR感知与评估

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: 数字孪生 Sim2Real LiDAR感知 智能交通系统 合成数据

📋 核心要点

  1. 现有基于LiDAR的感知系统依赖大规模标注数据集，但其创建过程成本高、耗时，限制了系统扩展性。
  2. 论文提出利用高保真数字孪生(HiFi DTs)生成逼真的合成数据，以支持可扩展且经济高效的Sim2Real学习。
  3. 通过构建的三个合成LiDAR数据集，验证了该方法在感知任务中优于真实数据训练的基线。

📝 摘要（中文）

智能交通系统(ITS)中基于LiDAR的感知依赖于使用大规模标注数据集训练的深度神经网络。然而，创建此类数据集成本高昂、耗时且劳动密集，限制了感知系统的可扩展性。Sim2Real学习提供了一种可扩展的替代方案，但其成功取决于仿真对真实世界环境、动态和传感器的保真度。本教程介绍了一个可复现的工作流程，用于构建高保真数字孪生(HiFi DTs)以生成逼真的合成数据集。我们概述了使用开源资源（如卫星图像、OpenStreetMap和传感器规格）对静态几何、道路基础设施和动态交通进行建模的实用步骤。由此产生的环境支持可扩展且经济高效的数据生成，以实现稳健的Sim2Real学习。使用此工作流程，我们发布了三个合成LiDAR数据集，即UT-LUMPI、UT-V2X-Real和UT-TUMTraf-I，它们紧密复制了真实位置，并且在感知任务中优于真实数据训练的基线。本指南使HiFi DTs在ITS研究和部署中得到更广泛的应用。

🔬 方法详解

问题定义：论文旨在解决智能交通系统中，基于LiDAR的感知系统对大规模标注数据集的依赖问题。现有方法创建数据集成本高昂，严重限制了感知系统的可扩展性。Sim2Real学习虽然是一种潜在的解决方案，但其效果高度依赖于仿真环境的真实度，而构建高保真度的仿真环境仍然是一个挑战。

核心思路：论文的核心思路是构建高保真度的数字孪生(HiFi DTs)，利用这些数字孪生生成逼真的合成LiDAR数据，从而降低对真实世界标注数据的依赖，并提升Sim2Real学习的效果。通过精确模拟真实世界的环境、动态和传感器特性，使得在仿真环境中训练的模型能够更好地迁移到真实世界。

技术框架：该方法主要包含以下几个阶段：1) 使用开源数据（如卫星图像、OpenStreetMap）对静态几何和道路基础设施进行建模；2) 使用传感器规格对LiDAR传感器进行建模；3) 对动态交通进行建模，模拟车辆和行人的行为；4) 使用构建的数字孪生环境生成合成LiDAR数据；5) 使用合成数据训练感知模型，并在真实数据上进行验证。

关键创新：论文的关键创新在于提出了一个可复现的、基于开源资源构建高保真数字孪生的工作流程。该流程能够有效地模拟真实世界的环境和传感器特性，从而生成高质量的合成LiDAR数据。此外，论文还发布了三个基于该流程构建的合成LiDAR数据集，为Sim2Real学习提供了宝贵的数据资源。

关键设计：论文详细描述了如何使用OpenStreetMap数据构建道路网络，如何使用卫星图像和点云数据构建静态环境，以及如何模拟车辆和行人的运动。此外，论文还强调了LiDAR传感器建模的重要性，并提供了传感器规格的参考。具体参数设置和网络结构的选择取决于具体的感知任务，论文提供了一些基线模型的实验结果。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文构建了三个合成LiDAR数据集（UT-LUMPI、UT-V2X-Real和UT-TUMTraf-I），并在感知任务中进行了验证。实验结果表明，使用这些合成数据训练的模型，在真实数据上的表现优于使用真实数据训练的基线模型。这表明该方法能够有效地提升Sim2Real学习的效果，并降低对真实世界标注数据的依赖。

🎯 应用场景

该研究成果可广泛应用于智能交通系统(ITS)的感知算法开发、自动驾驶仿真测试、以及城市规划和管理等领域。通过构建高保真数字孪生，可以降低数据采集和标注成本，加速感知算法的迭代和优化，并为自动驾驶系统的安全性和可靠性提供保障。此外，该技术还可以用于模拟交通流量、评估交通策略，从而为城市规划提供决策支持。

📄 摘要（原文）

LiDAR-based perception in intelligent transportation systems (ITS) relies on deep neural networks trained with large-scale labeled datasets. However, creating such datasets is expensive, time-consuming, and labor-intensive, limiting the scalability of perception systems. Sim2Real learning offers a scalable alternative, but its success depends on the simulation's fidelity to real-world environments, dynamics, and sensors. This tutorial introduces a reproducible workflow for building high-fidelity digital twins (HiFi DTs) to generate realistic synthetic datasets. We outline practical steps for modeling static geometry, road infrastructure, and dynamic traffic using open-source resources such as satellite imagery, OpenStreetMap, and sensor specifications. The resulting environments support scalable and cost-effective data generation for robust Sim2Real learning. Using this workflow, we have released three synthetic LiDAR datasets, namely UT-LUMPI, UT-V2X-Real, and UT-TUMTraf-I, which closely replicate real locations and outperform real-data-trained baselines in perception tasks. This guide enables broader adoption of HiFi DTs in ITS research and deployment.