RoboAware: Learning to Coordinate Embodied Skills from Counterfactual Outcomes
作者: Bohan Zhou, Xingbei Chen, Emily Huang, Weilin Ruan, Haojian Huang, Yehang Zhang, Zexi Li, Wenqian Li, Qize Yu, Zetian Song, Leyi Wu, Jinghao Li, Mingxuan Song, Xinrun Xu, Zongyang Qiu, Yangkai Wei, Tianyi Zhang, Kaiwen Zhou, Yinchuan Li, James Cheng
分类: cs.RO, cs.AI
发布日期: 2026-10-08
💡 一句话要点
提出RoboAware以解决机器人技能协调问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 具身智能 技能协调 反事实学习 蒙特卡罗树搜索 Q学习 机器人技术 自动化执行 分层MDP
📋 核心要点
- 现有方法在机器人技能的有效组合上面临挑战，难以预测在特定物理状态下哪个策略会成功。
- 论文提出RoboAware，通过学习状态条件的责任协调器，利用反事实结果来增强技能编排能力。
- 实验结果显示，RoboAware在100个任务上整体成功率达到77.0%，在多个基准上超越了现有方法，表现出显著提升。
📝 摘要（中文）
具身编码代理可以将模块化机器人技能与冻结的端到端策略结合，但有效的组合需要预测在当前物理状态下哪个策略家族会成功。我们提出了RoboAware，它通过从反事实结果中学习仅状态条件的责任协调器，来增强编码代理的技能编排。受REPL成功的启发，我们提出了$P^5$框架，并基于此构建了一个分层MDP。$P^5$将技能统一组织为五个语义阶段，定义了责任比较的地方。为了解决现有工作中缺乏反事实分支结果的问题，我们引入了状态锁定反事实分支（SCB），它恢复相同的训练状态以生成和执行来自每个可接受家族的代码块，暴露出所选分支经验未观察到的结果。基于此，我们提出了执行感知学习（EAL），结合蒙特卡罗树搜索与Q学习，将这些结果提炼为家族条件值。综合100个任务的单次评估表明，RoboAware的整体成功率达到77.0%，在RoboSuite上达到90.0%的SOTA平均值，在多样化的LIBERO-Pro任务集上达到73.8%，在具有挑战性的RoboTwin双手任务上达到90.0%，超越了现有的代码作为策略和VLA-harness基线。
🔬 方法详解
问题定义：本论文旨在解决具身编码代理在机器人技能协调中的有效性问题。现有方法在面对复杂物理状态时，难以准确预测成功的策略家族，导致技能组合效率低下。
核心思路：RoboAware的核心思路是通过学习状态条件的责任协调器，利用反事实结果来优化技能的选择和组合。这种设计使得代理能够在不同的物理状态下更好地预测和选择合适的策略。
技术框架：RoboAware的整体架构包括几个主要模块：首先是$P^5$框架，将技能组织为五个语义阶段；其次是状态锁定反事实分支（SCB），用于生成和执行代码块；最后是执行感知学习（EAL），结合蒙特卡罗树搜索与Q学习来提炼结果。
关键创新：最重要的技术创新在于引入了状态锁定反事实分支（SCB），它能够恢复相同的训练状态，从而生成未观察到的结果。这一方法显著提升了技能选择的准确性和有效性。
关键设计：在设计中，采用了分层MDP结构，定义了技能的责任比较机制，并通过蒙特卡罗树搜索与Q学习的结合，优化了策略选择的过程。
🖼️ 关键图片
📊 实验亮点
RoboAware在100个任务的单次评估中整体成功率达到77.0%，在RoboSuite、LIBERO-Pro和RoboTwin任务上分别取得90.0%、73.8%和90.0%的SOTA平均值，显著超越了现有的代码作为策略和VLA-harness基线，展示了其卓越的性能。
🎯 应用场景
RoboAware的研究成果在机器人领域具有广泛的应用潜力，尤其是在复杂任务的自动化执行中。通过提高技能协调的效率，该方法可以应用于服务机器人、工业自动化以及人机协作等场景，推动智能机器人技术的发展。
📄 摘要（原文）
Embodied coding agents can combine modular robot skills with frozen end-to-end policies, yet effective composition requires anticipating which policy family will succeed in the current physical state. We present RoboAware, which builds on coding agents' skill orchestration by learning only a state-conditioned responsibility coordinator from counterfactual outcomes. Inspired by the success of REPL, we propose the $P^5$ schema and formulate a hierarchical MDP based on it. $P^5$ organizes skills uniformly into five semantic stages, defining where responsibility can be compared. To address the lack of counterfactual branch outcomes in existing work, we introduce State-Locked Counterfactual Branching (SCB), which restores the same training state to generate and execute a code block from each admissible family, exposing outcomes that selected-branch experience leaves unobserved. Building on this, we propose Execution-Aware Learning (EAL), which combines Monte Carlo tree search with Q-learning to distill these outcomes into family-conditioned values. At deployment, the coordinator selects the policy family according to observable context, and the frozen coding agent generates the next local code block. Comprehensive single-episode evaluations on 100 tasks show that RoboAware reaches a 77.0% overall success rate, with SOTA averages of 90.0% on RoboSuite, 73.8% on diverse LIBERO-Pro task clusters, and 90.0% on challenging RoboTwin bimanual tasks, outperforming existing code-as-policy and VLA-harness baselines.