Digital Twin Catalog: A Large-Scale Photorealistic 3D Object Digital Twin Dataset

📄 arXiv: 2504.08541v2 📥 PDF

作者: Zhao Dong, Ka Chen, Zhaoyang Lv, Hong-Xing Yu, Yunzhi Zhang, Cheng Zhang, Yufeng Zhu, Stephen Tian, Zhengqin Li, Geordie Moffatt, Sean Christofferson, James Fort, Xiaqing Pan, Mingfei Yan, Jiajun Wu, Carl Yuheng Ren, Richard Newcombe

分类: cs.GR, cs.AI, cs.CV, cs.RO

发布日期: 2025-04-11 (更新: 2025-05-18)

备注: accepted to CVPR 2025 (Highlight). Dataset page: https://www.projectaria.com/datasets/dtc/

💡 一句话要点

发布大规模逼真3D物体数字孪生数据集DTC，用于评估和提升3D重建算法。

🎯 匹配领域: 支柱六：视频提取与匹配 (Video Extraction)

关键词: 数字孪生 3D重建 数据集 深度学习 计算机视觉

📋 核心要点

  1. 现有3D重建方法缺乏大规模、高质量的真实世界数据集进行评估和训练，限制了重建质量的提升。
  2. DTC数据集提供2000个高质量3D物体数字孪生，以及单反相机和AR眼镜拍摄的多样光照图像序列，用于3D重建算法的评估。
  3. DTC数据集旨在建立一个全面的真实世界评估基准，促进3D数字孪生创建技术的发展，并开源基线评估。

📝 摘要（中文）

本文介绍了数字孪生目录（DTC），这是一个新的大规模逼真3D物体数字孪生数据集。3D物体的数字孪生是物理物体的高度详细且几乎无法区分的虚拟表示，准确地捕捉了其形状、外观、物理属性和其他属性。基于神经的3D重建和逆渲染的最新进展显著提高了3D物体重建的质量。尽管取得了这些进展，但仍然缺乏一个大规模的、数字孪生质量的真实世界数据集和基准，该基准可以定量评估和比较不同重建方法的性能，并通过训练或微调来提高重建质量。此外，为了普及3D数字孪生创建，必须将创建技术与下一代以自我为中心的计算平台（如AR眼镜）集成。目前，没有可用的数据集来评估使用以自我为中心捕获的图像进行3D物体重建。为了解决这些差距，DTC数据集包含2,000个扫描的数字孪生质量的3D物体，以及使用单反相机和以自我为中心的AR眼镜在不同光照条件下捕获的图像序列。该数据集为3D数字孪生创建任务建立了第一个全面的真实世界评估基准，为比较和改进现有重建方法提供了强大的基础。DTC数据集已在https://www.projectaria.com/datasets/dtc/上发布，我们还将开源基线评估。

🔬 方法详解

问题定义：现有3D重建方法缺乏大规模、高质量的真实世界数据集进行评估和训练。这导致难以定量评估不同重建方法的性能，也难以通过数据驱动的方法（如深度学习）来提升重建质量。此外，缺乏针对以自我为中心视角（如AR眼镜）的数据集，阻碍了3D重建技术在AR/VR等领域的应用。

核心思路：论文的核心思路是构建一个大规模、高质量的3D物体数字孪生数据集，包含真实世界的3D物体及其对应的图像序列。通过提供高质量的3D模型作为ground truth，以及多样化的图像数据，可以为3D重建算法的评估和训练提供可靠的基础。此外，数据集包含以自我为中心视角的图像，可以促进针对AR/VR等应用的3D重建技术的发展。

技术框架：DTC数据集的构建主要包含以下几个阶段：1) 3D物体扫描：使用高精度扫描仪获取2000个真实世界物体的3D模型，确保数字孪生质量。2) 图像采集：使用单反相机和AR眼镜在不同光照条件下拍摄物体的图像序列，提供多样化的视角和光照条件。3) 数据集整理和标注：对采集的数据进行整理和标注，包括相机位姿、光照信息等，方便用户使用。4) 基线评估：提供基于现有3D重建算法的基线评估结果，方便用户进行比较。

关键创新：DTC数据集的关键创新在于其大规模、高质量和多样性。与现有数据集相比，DTC数据集包含更多的3D物体，具有更高的模型质量，并提供了多样化的图像数据，包括不同视角和光照条件下的图像，以及以自我为中心视角的图像。这使得DTC数据集能够更全面地评估和训练3D重建算法。

关键设计：DTC数据集的关键设计包括：1) 选择具有代表性的真实世界物体，涵盖不同形状、大小和材质。2) 使用高精度扫描仪获取3D模型，确保数字孪生质量。3) 使用单反相机和AR眼镜拍摄图像序列，提供多样化的视角和光照条件。4) 提供详细的相机位姿和光照信息，方便用户使用。5) 开源基线评估代码，方便用户进行比较。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

DTC数据集包含2000个数字孪生质量的3D物体，是目前规模最大的同类数据集之一。该数据集提供了使用单反相机和AR眼镜在不同光照条件下捕获的图像序列，为3D重建算法的评估和训练提供了丰富的数据。论文开源了基于现有3D重建算法的基线评估结果，为用户提供了一个参考标准。

🎯 应用场景

DTC数据集可广泛应用于3D重建、SLAM、视觉定位、增强现实、机器人导航等领域。该数据集能够促进相关算法的开发和评估，提升3D场景理解能力，并推动AR/VR等技术的进步。未来，基于DTC数据集的研究有望实现更精确、更鲁棒的3D重建和场景理解，为智能机器人、自动驾驶等应用提供更可靠的技术支持。

📄 摘要（原文）

We introduce the Digital Twin Catalog (DTC), a new large-scale photorealistic 3D object digital twin dataset. A digital twin of a 3D object is a highly detailed, virtually indistinguishable representation of a physical object, accurately capturing its shape, appearance, physical properties, and other attributes. Recent advances in neural-based 3D reconstruction and inverse rendering have significantly improved the quality of 3D object reconstruction. Despite these advancements, there remains a lack of a large-scale, digital twin-quality real-world dataset and benchmark that can quantitatively assess and compare the performance of different reconstruction methods, as well as improve reconstruction quality through training or fine-tuning. Moreover, to democratize 3D digital twin creation, it is essential to integrate creation techniques with next-generation egocentric computing platforms, such as AR glasses. Currently, there is no dataset available to evaluate 3D object reconstruction using egocentric captured images. To address these gaps, the DTC dataset features 2,000 scanned digital twin-quality 3D objects, along with image sequences captured under different lighting conditions using DSLR cameras and egocentric AR glasses. This dataset establishes the first comprehensive real-world evaluation benchmark for 3D digital twin creation tasks, offering a robust foundation for comparing and improving existing reconstruction methods. The DTC dataset is already released at https://www.projectaria.com/datasets/dtc/ and we will also make the baseline evaluations open-source.