TUM2TWIN: Introducing the Large-Scale Multimodal Urban Digital Twin Benchmark Dataset
作者: Olaf Wysocki, Benedikt Schwab, Manoj Kumar Biswanath, Michael Greza, Qilin Zhang, Jingwei Zhu, Thomas Froech, Medhini Heeramaglore, Ihab Hijazi, Khaoula Kanna, Mathias Pechinger, Zhaiyu Chen, Yao Sun, Alejandro Rueda Segura, Ziyang Xu, Omar AbdelGafar, Mansour Mehranfar, Chandan Yeshwanth, Yueh-Cheng Liu, Hadi Yazdi, Jiapan Wang, Stefan Auer, Katharina Anders, Klaus Bogenberger, Andre Borrmann, Angela Dai, Ludwig Hoegner, Christoph Holst, Thomas H. Kolbe, Ferdinand Ludwig, Matthias Nießner, Frank Petzold, Xiao Xiang Zhu, Boris Jutzi
分类: cs.CV, cs.LG
发布日期: 2025-05-12 (更新: 2025-05-13)
备注: Submitted to the ISPRS Journal of Photogrammetry and Remote Sensing
💡 一句话要点
TUM2TWIN：大规模多模态城市数字孪生基准数据集
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 城市数字孪生 多模态数据 基准数据集 三维重建 语义分割
📋 核心要点
- 现有城市数字孪生数据集通常只关注处理流程的某个环节，缺乏对完整UDT流程的验证能力。
- TUM2TWIN数据集旨在提供一个全面的多模态城市数字孪生基准，包含多种传感器数据和语义对齐的3D模型。
- 该数据集支持多种下游任务，如新视角合成、太阳能潜力分析、点云语义分割和LoD3建筑物重建，验证了其应用潜力。
📝 摘要（中文）
城市数字孪生(UDT)已成为城市管理和整合来自不同来源的复杂异构数据的关键。创建UDT在多个过程阶段都面临挑战，包括获取精确的3D源数据、重建高保真3D模型、维护模型的更新以及确保与下游任务的无缝互操作性。目前的数据集通常仅限于处理链的一部分，阻碍了对UDT的全面验证。为了应对这些挑战，我们推出了首个全面的多模态城市数字孪生基准数据集：TUM2TWIN。该数据集包括地理参考、语义对齐的3D模型和网络，以及来自地面、移动、空中和卫星的各种观测数据，包含大约100,000平方米的32个数据子集，目前数据量为767 GB。通过确保地理参考的室内外数据采集、高精度和多模态数据集成，该基准支持对传感器进行稳健的分析，并支持开发先进的重建方法。此外，我们探索了下游任务，展示了TUM2TWIN的潜力，包括NeRF和Gaussian Splatting的新视角合成、太阳能潜力分析、点云语义分割和LoD3建筑物重建。我们相信这项贡献为克服当前UDT创建的局限性奠定了基础，促进了新的研究方向和更智能、数据驱动的城市环境的实际解决方案。该项目可在https://tum2t.win上找到。
🔬 方法详解
问题定义：现有城市数字孪生数据集通常是孤立的，只关注数据采集、三维重建或特定应用中的一个环节，缺乏一个统一的、多模态的、大规模的基准数据集来支持端到端的UDT研究和验证。这限制了算法的泛化能力和实际应用效果。现有方法难以有效整合来自不同传感器和来源的异构数据，并缺乏统一的语义信息。
核心思路：TUM2TWIN的核心思路是构建一个包含多种模态数据（地面、移动、空中、卫星）的、地理参考的、语义对齐的城市数字孪生数据集。通过提供全面的数据和统一的坐标系，支持研究人员开发更鲁棒、更通用的UDT算法。
技术框架：TUM2TWIN数据集的构建流程包括数据采集、数据预处理、数据对齐和数据发布四个主要阶段。数据采集阶段使用多种传感器获取不同模态的数据；数据预处理阶段对数据进行清洗、去噪和格式转换；数据对齐阶段将不同模态的数据统一到地理坐标系中，并进行语义对齐；数据发布阶段将数据集以标准格式发布，并提供相应的API和工具。
关键创新：TUM2TWIN的关键创新在于其多模态、地理参考和语义对齐的特性。与其他数据集相比，TUM2TWIN提供了更全面的数据和更统一的坐标系，从而支持更复杂的UDT研究。此外，该数据集还提供了多种下游任务的示例，展示了其应用潜力。
关键设计：TUM2TWIN数据集的关键设计包括：1) 使用高精度GPS和IMU进行地理参考；2) 使用人工标注和自动算法进行语义对齐；3) 提供多种数据格式（如点云、网格、图像）和API；4) 提供多种下游任务的示例代码和评估指标。
🖼️ 关键图片
📊 实验亮点
TUM2TWIN数据集包含32个数据子集，覆盖约10万平方米的区域，数据量达767GB。论文展示了该数据集在NeRF和Gaussian Splatting的新视角合成、太阳能潜力分析、点云语义分割和LoD3建筑物重建等下游任务中的应用，并取得了良好的效果。这些实验结果验证了TUM2TWIN数据集的价值和潜力。
🎯 应用场景
TUM2TWIN数据集可广泛应用于城市规划、交通管理、能源分析、环境监测、灾害预警等领域。通过利用该数据集，研究人员可以开发更智能、更高效的城市管理系统，从而提高城市的可持续性和宜居性。该数据集的发布将促进城市数字孪生技术的发展和应用，为构建智慧城市提供有力支持。
📄 摘要（原文）
Urban Digital Twins (UDTs) have become essential for managing cities and integrating complex, heterogeneous data from diverse sources. Creating UDTs involves challenges at multiple process stages, including acquiring accurate 3D source data, reconstructing high-fidelity 3D models, maintaining models' updates, and ensuring seamless interoperability to downstream tasks. Current datasets are usually limited to one part of the processing chain, hampering comprehensive UDTs validation. To address these challenges, we introduce the first comprehensive multimodal Urban Digital Twin benchmark dataset: TUM2TWIN. This dataset includes georeferenced, semantically aligned 3D models and networks along with various terrestrial, mobile, aerial, and satellite observations boasting 32 data subsets over roughly 100,000 $m^2$ and currently 767 GB of data. By ensuring georeferenced indoor-outdoor acquisition, high accuracy, and multimodal data integration, the benchmark supports robust analysis of sensors and the development of advanced reconstruction methods. Additionally, we explore downstream tasks demonstrating the potential of TUM2TWIN, including novel view synthesis of NeRF and Gaussian Splatting, solar potential analysis, point cloud semantic segmentation, and LoD3 building reconstruction. We are convinced this contribution lays a foundation for overcoming current limitations in UDT creation, fostering new research directions and practical solutions for smarter, data-driven urban environments. The project is available under: https://tum2t.win