Towards Synergistic, Generalized, and Efficient Dual-System for Robotic Manipulation
作者: Qingwen Bu, Hongyang Li, Li Chen, Jisong Cai, Jia Zeng, Heming Cui, Maoqing Yao, Yu Qiao
分类: cs.RO, cs.AI
发布日期: 2024-10-10 (更新: 2025-02-06)
备注: Project page: https://opendrivelab.com/RoboDual/
💡 一句话要点
RoboDual：协同通用与专用策略，提升机器人操作性能与效率
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱七：动作重定向 (Motion Retargeting) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 机器人操作 通用策略 专用策略 扩散Transformer 视觉-语言-动作 协同系统 模仿学习 强化学习
📋 核心要点
- 通用策略泛化性强但效率低，专用策略效率高但泛化性弱，现有机器人操作策略难以兼顾。
- RoboDual采用通用策略与专用策略协同的双系统，通用策略提供高级理解，专用策略执行高效操作。
- 实验表明，RoboDual在真实环境和CALVIN数据集上均有显著提升，且控制频率更高，数据需求更低。
📝 摘要（中文）
为了满足机器人系统在多样化和动态环境中操作的需求，通用策略变得越来越重要，它利用大量的跨具身数据语料库来促进广泛的适应性和高层次的推理。然而，通用策略存在推理效率低和训练成本高的问题。相反，专用策略是为特定领域数据设计的，擅长任务级别的精度和效率。但是，它缺乏广泛应用的泛化能力。受这些观察的启发，我们引入了RoboDual，一个协同的双系统，它补充了通用策略和专用策略的优点。基于扩散Transformer的专用策略被设计用于多步动作展开，精确地以基于视觉-语言-动作（VLA）的通用策略的高级任务理解和离散动作输出为条件。与OpenVLA相比，RoboDual在真实环境中实现了26.7%的改进，在CALVIN上实现了12%的提升，这仅仅引入了一个具有2000万可训练参数的专用策略。它仅用5%的演示数据就能保持强大的性能，并在真实部署中实现了3.8倍的控制频率提升。代码将会公开。
🔬 方法详解
问题定义：现有机器人操作策略难以同时兼顾通用性和效率。通用策略（如VLA模型）虽然具备较强的泛化能力，能够处理多种任务，但推理效率较低，训练成本高昂。而专用策略虽然效率高，但泛化能力不足，难以适应复杂多变的环境。因此，如何在保证泛化能力的同时，提升机器人操作的效率是一个关键问题。
核心思路：RoboDual的核心思路是结合通用策略和专用策略的优点，构建一个协同的双系统。通用策略负责进行高级任务理解和动作规划，为专用策略提供指导。专用策略则负责执行具体的动作序列，实现高效的操作。通过这种协同方式，RoboDual既能保持较强的泛化能力，又能提升操作效率。
技术框架：RoboDual的整体架构包含两个主要模块：通用策略模块和专用策略模块。通用策略模块采用基于视觉-语言-动作（VLA）的模型，负责接收视觉和语言输入，理解任务目标，并输出离散的动作指令。专用策略模块则采用基于扩散Transformer的模型，以通用策略的输出为条件，生成连续的动作序列，控制机器人的具体操作。两个模块协同工作，共同完成任务。
关键创新：RoboDual最重要的技术创新在于其协同的双系统架构。与传统的单一策略方法不同，RoboDual将任务分解为高级理解和低级执行两个阶段，分别由通用策略和专用策略负责。这种分解方式能够充分利用两种策略的优势，实现更好的性能和效率。此外，使用扩散Transformer作为专用策略，能够生成更加平滑和自然的动作序列。
关键设计：RoboDual的关键设计包括：1) 通用策略采用预训练的VLA模型，并进行微调，以适应特定的机器人操作任务。2) 专用策略采用扩散Transformer模型，以通用策略的离散动作输出为条件，生成连续的动作序列。3) 损失函数包括模仿学习损失和强化学习损失，用于训练专用策略。4) 实验中，专用策略仅使用20M可训练参数，即可实现显著的性能提升。
🖼️ 关键图片
📊 实验亮点
RoboDual在真实环境和CALVIN数据集上均取得了显著的性能提升。在真实环境中，RoboDual相比OpenVLA提升了26.7%。在CALVIN数据集上，RoboDual相比OpenVLA提升了12%。更重要的是，RoboDual仅使用5%的演示数据就能保持强大的性能，并在真实部署中实现了3.8倍的控制频率提升。这些结果表明，RoboDual在泛化能力、效率和数据利用率方面均具有显著优势。
🎯 应用场景
RoboDual具有广泛的应用前景，可应用于工业自动化、家庭服务、医疗康复等领域。例如，在工业自动化中，RoboDual可以用于机器人装配、质量检测等任务，提高生产效率和产品质量。在家庭服务中，RoboDual可以用于机器人清洁、物品整理等任务，提升生活品质。在医疗康复中，RoboDual可以用于机器人辅助训练、康复评估等任务，帮助患者恢复功能。
📄 摘要（原文）
The increasing demand for versatile robotic systems to operate in diverse and dynamic environments has emphasized the importance of a generalist policy, which leverages a large cross-embodiment data corpus to facilitate broad adaptability and high-level reasoning. However, the generalist would struggle with inefficient inference and cost-expensive training. The specialist policy, instead, is curated for specific domain data and excels at task-level precision with efficiency. Yet, it lacks the generalization capacity for a wide range of applications. Inspired by these observations, we introduce RoboDual, a synergistic dual-system that supplements the merits of both generalist and specialist policy. A diffusion transformer-based specialist is devised for multi-step action rollouts, exquisitely conditioned on the high-level task understanding and discretized action output of a vision-language-action (VLA) based generalist. Compared to OpenVLA, RoboDual achieves 26.7% improvement in real-world setting and 12% gain on CALVIN by introducing a specialist policy with merely 20M trainable parameters. It maintains strong performance with 5% of demonstration data only, and enables a 3.8 times higher control frequency in real-world deployment. Code would be made publicly available. Our project page is hosted at: https://opendrivelab.com/RoboDual/