RoBridge: A Hierarchical Architecture Bridging Cognition and Execution for General Robotic Manipulation

📄 arXiv: 2505.01709v3 📥 PDF

作者: Kaidong Zhang, Rongtao Xu, Pengzhen Ren, Junfan Lin, Hefeng Wu, Liang Lin, Xiaodan Liang

分类: cs.RO, cs.AI, cs.CV

发布日期: 2025-05-03 (更新: 2025-07-23)

备注: project page: https://abliao.github.io/RoBridge/

💡 一句话要点

RoBridge：一种桥接认知与执行的通用机器人操作分层架构

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 机器人操作 视觉-语言模型 强化学习 分层架构 Sim-to-Real 认知与执行 通用机器人 具身智能体

📋 核心要点

  1. 现有机器人操作方法难以兼顾认知理解和执行能力，导致在开放环境中表现不佳。
  2. RoBridge通过分层架构，利用视觉-语言模型进行认知规划，并使用不变可操作表示连接认知和执行。
  3. 实验表明，RoBridge在新的操作任务和sim-to-real泛化方面均取得了显著的性能提升。

📝 摘要（中文）

在开放场景中执行多样化任务的机器人操作是机器人领域重要的研究和应用方向。尽管自然语言处理和大型多模态模型的最新进展增强了机器人理解复杂指令的能力，但机器人操作仍然面临开放环境中的程序性技能困境和声明性技能困境。现有方法通常在认知和执行能力之间做出妥协。为了解决这些挑战，本文提出了一种用于通用机器人操作的分层智能架构RoBridge。它由基于大规模预训练视觉-语言模型（VLM）的高级认知规划器（HCP）、作为符号桥梁的不变可操作表示（IOR）和通用具身智能体（GEA）组成。RoBridge保持了VLM的声明性技能，并释放了强化学习的程序性技能，有效地弥合了认知和执行之间的差距。RoBridge在现有基线上表现出显著的性能提升，在新任务上实现了75%的成功率，在使用每个任务仅五个真实世界数据样本的情况下，在sim-to-real泛化中实现了83%的平均成功率。这项工作代表了在机器人系统中集成认知推理与物理执行的重要一步，为通用机器人操作提供了一种新的范例。

🔬 方法详解

问题定义：现有机器人操作方法在开放环境中面临两大挑战：程序性技能困境和声明性技能困境。程序性技能困境指的是机器人难以学习和泛化复杂的运动技能；声明性技能困境指的是机器人难以理解和执行复杂的自然语言指令。现有方法通常需要在认知能力（理解指令）和执行能力（完成任务）之间进行权衡，难以实现真正的通用机器人操作。

核心思路：RoBridge的核心思路是构建一个分层架构，将认知规划和执行控制解耦，并使用一个中间表示（不变可操作表示IOR）作为桥梁。高层认知规划器负责理解任务指令并生成抽象的行动序列，底层通用具身智能体负责执行这些行动序列。IOR则将高层指令转化为机器人可以理解和执行的低层控制信号。这种设计使得RoBridge能够同时利用视觉-语言模型的认知能力和强化学习的执行能力。

技术框架：RoBridge包含三个主要模块：1) 高级认知规划器（HCP）：基于大型预训练视觉-语言模型（VLM），负责接收任务指令，并生成一个抽象的行动序列。2) 不变可操作表示（IOR）：作为符号桥梁，将HCP生成的抽象行动序列转换为机器人可以理解和执行的低层控制信号。IOR的设计目标是具有不变性，即对于不同的任务和环境，IOR能够提供一致的表示。3) 通用具身智能体（GEA）：基于强化学习训练，负责接收IOR提供的控制信号，并执行相应的动作。GEA的设计目标是具有通用性，即能够执行各种不同的操作任务。

关键创新：RoBridge的关键创新在于其分层架构和IOR的设计。分层架构使得认知和执行解耦，从而能够分别优化认知和执行能力。IOR则充当了认知和执行之间的桥梁，使得高层指令能够有效地转化为低层控制信号。与现有方法相比，RoBridge能够更好地利用视觉-语言模型的认知能力和强化学习的执行能力，从而实现更强大的通用机器人操作能力。

关键设计：HCP使用预训练的VLM，并通过微调来适应机器人操作任务。IOR的设计需要考虑任务的语义信息和机器人的运动学约束。GEA使用深度强化学习算法进行训练，例如PPO或SAC。具体的参数设置、损失函数和网络结构需要根据具体的任务和环境进行调整。论文中使用了五个真实世界数据样本进行sim-to-real泛化，这表明该方法具有较强的泛化能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

RoBridge在新的操作任务上实现了75%的成功率，显著优于现有基线方法。更重要的是，RoBridge在使用每个任务仅五个真实世界数据样本的情况下，在sim-to-real泛化中实现了83%的平均成功率。这表明RoBridge具有很强的泛化能力和实际应用潜力。

🎯 应用场景

RoBridge具有广泛的应用前景，例如在智能家居、工业自动化、医疗机器人等领域。它可以用于执行各种复杂的机器人操作任务，例如物品抓取、装配、清洁等。RoBridge的出现有望推动机器人技术的发展，使得机器人能够更好地服务于人类。

📄 摘要（原文）

Operating robots in open-ended scenarios with diverse tasks is a crucial research and application direction in robotics. While recent progress in natural language processing and large multimodal models has enhanced robots' ability to understand complex instructions, robot manipulation still faces the procedural skill dilemma and the declarative skill dilemma in open environments. Existing methods often compromise cognitive and executive capabilities. To address these challenges, in this paper, we propose RoBridge, a hierarchical intelligent architecture for general robotic manipulation. It consists of a high-level cognitive planner (HCP) based on a large-scale pre-trained vision-language model (VLM), an invariant operable representation (IOR) serving as a symbolic bridge, and a generalist embodied agent (GEA). RoBridge maintains the declarative skill of VLM and unleashes the procedural skill of reinforcement learning, effectively bridging the gap between cognition and execution. RoBridge demonstrates significant performance improvements over existing baselines, achieving a 75% success rate on new tasks and an 83% average success rate in sim-to-real generalization using only five real-world data samples per task. This work represents a significant step towards integrating cognitive reasoning with physical execution in robotic systems, offering a new paradigm for general robotic manipulation.