RoboTwin: Dual-Arm Robot Benchmark with Generative Digital Twins

📄 arXiv: 2504.13059v1 📥 PDF

作者: Yao Mu, Tianxing Chen, Zanxin Chen, Shijia Peng, Zhiqian Lan, Zeyu Gao, Zhixuan Liang, Qiaojun Yu, Yude Zou, Mingkun Xu, Lunkai Lin, Zhiqiang Xie, Mingyu Ding, Ping Luo

分类: cs.RO, cs.AI, cs.CL

发布日期: 2025-04-17

备注: CVPR 2025 Highlight. 22 pages. Project page: https://robotwin-benchmark.github.io/

💡 一句话要点

RoboTwin：基于生成式数字孪生的双臂机器人基准测试平台

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 双臂机器人 数字孪生 生成式模型 大型语言模型 机器人学习 基准测试 操作技能 仿真环境

📋 核心要点

  1. 双臂协调和复杂物体操作是高级自主系统的关键能力，但高质量演示数据和真实世界对齐的评估基准的稀缺性限制了其发展。
  2. RoboTwin利用3D生成式模型和大型语言模型，从2D图像生成多样化的数字孪生，并结合空间关系感知的代码生成框架，为机器人任务提供数据和评估。
  3. 实验表明，在RoboTwin生成的数据上预训练并在真实数据上微调的策略，显著提升了双臂机器人的操作性能，单臂任务提升超过70%，双臂任务提升超过40%。

📝 摘要（中文）

本文提出RoboTwin，一个生成式数字孪生框架，利用3D生成式基础模型和大型语言模型，为双臂机器人任务生成多样化专家数据集，并提供与真实世界对齐的评估平台。RoboTwin从单张2D图像创建物体的多样化数字孪生，生成逼真且可交互的场景。此外，还引入了一个空间关系感知代码生成框架，该框架结合物体标注和大型语言模型来分解任务、确定空间约束并生成精确的机器人运动代码。该框架提供了一个包含模拟和真实世界数据的综合基准，从而实现标准化评估，并更好地对齐模拟训练和真实世界性能。使用开源COBOT Magic Robot平台验证了该方法。在RoboTwin生成的数据上预训练并在有限的真实世界样本上微调的策略，在单臂任务上的成功率提高了70%以上，在双臂任务上的成功率提高了40%以上，与仅在真实世界数据上训练的模型相比，证明了增强双臂机器人操作系统的巨大潜力。

🔬 方法详解

问题定义：现有双臂机器人研究面临数据匮乏和模拟环境与真实环境不一致的问题。缺乏多样化、高质量的演示数据，难以训练出鲁棒性强的控制策略。同时，模拟环境与真实环境的差异导致在模拟环境中训练的模型难以直接应用于真实机器人。

核心思路：RoboTwin的核心思路是利用生成式模型和大型语言模型，构建一个能够生成多样化、真实感强的数字孪生环境。通过在数字孪生环境中进行训练和评估，可以有效解决数据匮乏和环境差异的问题，从而提升双臂机器人在真实环境中的性能。

技术框架：RoboTwin框架主要包含两个核心模块：1) 基于3D生成式模型的数字孪生生成模块，用于从单张2D图像生成物体的多样化数字孪生；2) 空间关系感知的代码生成框架，该框架结合物体标注和大型语言模型来分解任务、确定空间约束并生成精确的机器人运动代码。整体流程为：首先，利用生成式模型创建数字孪生环境；然后，利用大型语言模型生成机器人控制代码；最后，在数字孪生环境中进行训练和评估，并将训练好的模型部署到真实机器人上。

关键创新：RoboTwin的关键创新在于将3D生成式模型和大型语言模型相结合，构建了一个能够自动生成多样化、真实感强的机器人训练和评估环境。与传统的机器人模拟环境相比，RoboTwin能够更好地模拟真实世界的复杂性和不确定性，从而提升了训练模型的泛化能力。此外，空间关系感知的代码生成框架能够自动生成机器人控制代码，降低了机器人编程的难度。

关键设计：在数字孪生生成模块中，使用了基于扩散模型的3D生成模型，能够生成高质量的物体模型。在代码生成框架中，使用了预训练的大型语言模型，并针对机器人控制任务进行了微调。损失函数方面，采用了模仿学习的损失函数，鼓励机器人学习专家轨迹。此外，还设计了一系列奖励函数，用于引导机器人完成特定任务。

🖼️ 关键图片

img_0

📊 实验亮点

实验结果表明，在RoboTwin生成的数据上预训练并在有限的真实世界样本上微调的策略，在单臂任务上的成功率提高了70%以上，在双臂任务上的成功率提高了40%以上，与仅在真实世界数据上训练的模型相比，证明了RoboTwin在提升双臂机器人操作性能方面的显著优势。

🎯 应用场景

RoboTwin可应用于各种需要双臂机器人协同操作的场景，例如智能制造、医疗手术、家庭服务等。通过提供高质量的训练数据和评估基准，RoboTwin能够加速双臂机器人技术的发展，并推动其在实际场景中的应用。未来，RoboTwin有望成为机器人研究人员和工程师的重要工具。

📄 摘要（原文）

In the rapidly advancing field of robotics, dual-arm coordination and complex object manipulation are essential capabilities for developing advanced autonomous systems. However, the scarcity of diverse, high-quality demonstration data and real-world-aligned evaluation benchmarks severely limits such development. To address this, we introduce RoboTwin, a generative digital twin framework that uses 3D generative foundation models and large language models to produce diverse expert datasets and provide a real-world-aligned evaluation platform for dual-arm robotic tasks. Specifically, RoboTwin creates varied digital twins of objects from single 2D images, generating realistic and interactive scenarios. It also introduces a spatial relation-aware code generation framework that combines object annotations with large language models to break down tasks, determine spatial constraints, and generate precise robotic movement code. Our framework offers a comprehensive benchmark with both simulated and real-world data, enabling standardized evaluation and better alignment between simulated training and real-world performance. We validated our approach using the open-source COBOT Magic Robot platform. Policies pre-trained on RoboTwin-generated data and fine-tuned with limited real-world samples demonstrate significant potential for enhancing dual-arm robotic manipulation systems by improving success rates by over 70% for single-arm tasks and over 40% for dual-arm tasks compared to models trained solely on real-world data.