Digital Twin-Driven Real2Sim2Real: Simulator-Conditioned Generation via Paired Driving-Scene Reconstruction

📄 arXiv: 2610.08339v1 📥 PDF

作者: Hojun Lim, Hyeongseok Jeon, Donghyun Kim, Soonyoung Jung, Heecheol Yoo

分类: cs.CV

发布日期: 2026-10-06

备注: 8 pages, 6 figures

💡 一句话要点

提出数字双胞胎驱动的Real2Sim2Real以解决数据收集成本问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 数字双胞胎 自动驾驶 3D感知 生成模型 数据增强

📋 核心要点

  1. 现有的自动驾驶3D感知方法依赖于大量标注数据，数据收集和标注成本高昂。
  2. 论文提出了一种数字双胞胎驱动的Real2Sim2Real管道，通过重建驾驶片段并利用模拟器渲染生成数据。
  3. 实验结果显示，DT-S2R在不使用目标图像的情况下，达到了93.18%的mAP，显著降低了数据收集成本。

📝 摘要（中文）

基于相机的3D感知在自动驾驶中依赖于大量标注数据，而在新目标区域部署系统通常需要数据收集和标注。尽管生成增强方法被提出以降低成本，但现有方法面临基本的权衡：标签条件的方法消耗了它们试图替代的标注，而模拟器条件的方法提供免费的标注但缺乏与特定真实环境的视觉基础。本文研究了数字双胞胎驱动的Real2Sim2Real管道（DT-R2S2R）在多大程度上可以替代目标区域的真实数据。通过在地理参考的数字双胞胎中重建记录的驾驶片段，我们将扩散模型条件化于几何对齐的模拟器渲染，建立了数字双胞胎基础的Sim2Real模型（DT-S2R）。结果表明，DT-S2R能够生成逼真的驾驶图像，且在多种3D检测器上验证了生成数据的有效性。

🔬 方法详解

问题定义：本论文旨在解决自动驾驶系统在新目标区域部署时需要大量标注数据的问题。现有方法在生成数据时面临标签条件方法与模拟器条件方法之间的权衡，前者依赖于标注，后者缺乏真实环境的视觉基础。

核心思路：论文提出的DT-R2S2R管道通过在数字双胞胎中重建驾驶片段，利用几何对齐的模拟器渲染来条件化扩散模型，从而生成与真实环境相匹配的合成数据。

技术框架：该方法的整体架构包括数据重建、模拟器渲染和扩散模型三个主要模块。首先重建驾驶片段，然后生成与之对齐的模拟器图像，最后利用扩散模型生成合成图像。

关键创新：DT-R2S2R的核心创新在于结合数字双胞胎技术与生成模型，能够在不依赖真实标注的情况下生成高质量的合成数据，显著提高了数据生成的效率和质量。

关键设计：在技术细节上，论文使用了几何对齐的损失函数来确保生成图像与真实场景的匹配，并优化了扩散模型的结构以提高生成图像的质量。具体参数设置和网络结构细节在论文中进行了详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，DT-S2R在不使用目标区域真实数据的情况下，达到了93.18%的mAP，超越了现有的基线方法。此外，与现有的目标图像训练方法相比，简单的共训练策略与现有的非目标真实数据结合使用，进一步提升了性能。

🎯 应用场景

该研究的潜在应用领域包括自动驾驶、智能交通系统和机器人导航等。通过降低数据收集和标注的成本，DT-R2S2R为在数字双胞胎可用区域内的3D感知提供了实用基础，推动了相关技术的普及和应用。

📄 摘要（原文）

Camera-based 3D perception for autonomous driving relies heavily on large annotated datasets, and deploying such a system to a new target region typically requires data collection and annotation. Generative augmentation has been proposed to reduce this cost, but existing approaches face a fundamental trade-off: label-conditioned methods consume the very annotations they aim to replace, while simulator-conditioned methods offer free annotations but lack visual grounding to specific real environments. This work investigates the extent to which a digital-twin-driven Real2Sim2Real pipeline (DT-R2S2R) can substitute for target-region real data. By reconstructing recorded driving clips inside a georeferenced digital twin (DT-R2S), we condition a diffusion model on geometrically aligned simulator renderings, establishing a digital twin-grounded Sim2Real model (DT-S2R). As a result, DT-S2R synthesizes photorealistic driving images given low-cost yet georeferenced simulator data across both reconstructed and novel simulator scenes within digital-twin coverage. The efficacy of generated data is verified on diverse 3D detectors. DETR3D, especially, reports 93.18% of mAP obtained by a target-region real-data oracle, without employing target images for detector training. Furthermore, simple co-training with existing out-of-target real data outperforms the oracle. Thus, DT-R2S2R can substantially reduce the cost of manual on-site data collection and annotation in digital twin-available districts, providing a practical foundation for scaling 3D perception.