ManiTwin: Scaling Data-Generation-Ready Digital Object Dataset to 100K

📄 arXiv: 2603.16866v1 📥 PDF

作者: Kaixuan Wang, Tianxing Chen, Jiawei Liu, Honghao Su, Shaolong Zhu, Minxuan Wang, Zixuan Li, Yue Chen, Huan-ang Gao, Yusen Qin, Jiawei Wang, Qixuan Zhang, Lan Xu, Jingyi Yu, Yao Mu, Ping Luo

分类: cs.RO, cs.AI, cs.GR, cs.LG, cs.SE

发布日期: 2026-03-17

备注: Website: https://manitwin.github.io/

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

ManiTwin：构建大规模可用于数据生成的十万级数字物体数据集

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 机器人操作 数据生成 3D资产 仿真学习 数据集 语义标注 自动化流程

📋 核心要点

  1. 机器人操作能力扩展受限于缺乏大规模、多样化的、可直接用于数据生成的数字资产。
  2. ManiTwin通过自动化流程，将单张图像转化为带有语义标注的、可用于仿真的3D资产。
  3. ManiTwin-100K数据集包含10万个高质量3D资产，支持操作数据生成、场景合成和VQA等任务。

📝 摘要（中文）

本文提出了ManiTwin，一个自动化且高效的流程，用于生成可用于数据生成的数字物体孪生体。该流程可以将单张图像转换为可用于仿真的、带有语义标注的3D资产，从而实现大规模机器人操作数据的生成。利用该流程，我们构建了ManiTwin-100K数据集，其中包含10万个高质量的、带有标注的3D资产。每个资产都配备了物理属性、语言描述、功能标注和经过验证的操作建议。实验表明，ManiTwin提供了一个高效的资产合成和标注工作流程，并且ManiTwin-100K为操作数据生成、随机场景合成和VQA数据生成提供了高质量和多样化的资产，为可扩展的仿真数据合成和策略学习奠定了坚实的基础。

🔬 方法详解

问题定义：现有机器人操作仿真学习方法面临缺乏大规模、多样且标注完善的3D物体资产的挑战。手动创建这些资产成本高昂且耗时，阻碍了仿真数据生成和策略学习的扩展。现有数据集规模较小，难以满足复杂操作任务的需求。

核心思路：ManiTwin的核心思路是构建一个自动化流程，将单张图像转化为可用于仿真的、带有语义标注的3D资产。通过自动化资产生成，可以显著降低数据收集成本，并扩展数据集的规模和多样性。这样可以为机器人操作策略学习提供更丰富的训练数据。

技术框架：ManiTwin的整体框架包含以下几个主要模块：1) 单张图像输入；2) 3D资产重建与优化；3) 语义标注与属性生成（包括物理属性、语言描述、功能标注等）；4) 操作建议验证。该流程将图像作为输入，自动生成带有完整标注信息的3D资产。

关键创新：ManiTwin的关键创新在于其自动化和高效的资产生成流程。该流程能够从单张图像中重建高质量的3D模型，并自动添加语义标注和物理属性。此外，ManiTwin还引入了操作建议验证机制，确保生成的资产适用于机器人操作任务。与现有方法相比，ManiTwin显著降低了资产生成成本，并提高了资产的质量和多样性。

关键设计：ManiTwin的具体技术细节包括：使用深度学习模型进行3D重建，采用优化算法提高模型质量，利用自然语言处理技术生成语言描述，以及设计特定的损失函数来保证物理属性的准确性。操作建议验证模块则通过仿真实验来评估资产的可操作性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，ManiTwin能够高效地生成高质量的3D资产，并显著降低数据生成成本。ManiTwin-100K数据集在操作数据生成、随机场景合成和VQA数据生成等任务中表现出色，为机器人操作策略学习提供了强大的支持。相较于现有数据集，ManiTwin-100K在规模和多样性上均有显著提升。

🎯 应用场景

ManiTwin-100K数据集可广泛应用于机器人操作、场景理解、视觉问答等领域。它为机器人操作策略学习提供了大规模的训练数据，促进了机器人智能的发展。此外，该数据集还可用于虚拟现实、增强现实等应用，为用户提供更逼真的交互体验。未来，ManiTwin有望成为机器人研究的重要基础设施。

📄 摘要（原文）

Learning in simulation provides a useful foundation for scaling robotic manipulation capabilities. However, this paradigm often suffers from a lack of data-generation-ready digital assets, in both scale and diversity. In this work, we present ManiTwin, an automated and efficient pipeline for generating data-generation-ready digital object twins. Our pipeline transforms a single image into simulation-ready and semantically annotated 3D asset, enabling large-scale robotic manipulation data generation. Using this pipeline, we construct ManiTwin-100K, a dataset containing 100K high-quality annotated 3D assets. Each asset is equipped with physical properties, language descriptions, functional annotations, and verified manipulation proposals. Experiments demonstrate that ManiTwin provides an efficient asset synthesis and annotation workflow, and that ManiTwin-100K offers high-quality and diverse assets for manipulation data generation, random scene synthesis, and VQA data generation, establishing a strong foundation for scalable simulation data synthesis and policy learning. Our webpage is available at https://manitwin.github.io/.