Addressing the Orchestration Gap in Generalist Robots via Physical Agency
作者: Liane Galanti, Dhruv Shah, Tri Dao
分类: cs.RO
发布日期: 2026-07-23
💡 一句话要点
提出物理代理以解决通用机器人中的协调差距问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 通用机器人 物理代理 高层规划 低级控制 协调差距 机器人操作 性能提升
📋 核心要点
- 现有的通用机器人方法在整合感知、规划和控制等多方面能力时存在协调差距，导致性能不足。
- 本文提出的Pigey物理代理协调器通过高层规划和低级控制的分离，解决了现有方法的局限性，提升了机器人任务的执行能力。
- 在LIBERO-PRO基准上，Pigey的性能提升超过4倍，且在真实机器人上实现了90%以上的成功率，显著超越了现有策略。
📝 摘要（中文）
通用机器人需要综合感知、世界知识、规划、成功检测、恢复和低级控制等能力。现有的最先进模型试图通过大规模预训练将这些能力整合到学习策略中。本文提出将这些能力分解为一个通用的语言条件策略/控制代理和一个高层代理管理器。我们构建了一个闭环物理代理协调器（Pigey），能够进行高层规划、将目标分解为可实现的子目标、指挥低级运动命令、跟踪和验证低级观察结果，并从失败中恢复。Pigey在模拟基准和复杂的现实世界机器人操作任务中进行了广泛评估，显示出显著的性能提升。
🔬 方法详解
问题定义：本文旨在解决通用机器人在执行复杂任务时的协调差距问题，现有方法在整合多种能力时表现不佳，导致任务执行效率低下。
核心思路：提出将机器人能力分解为高层代理和低层控制模块，通过物理代理协调器Pigey实现高效的任务规划与执行，避免了传统方法的复杂预训练过程。
技术框架：Pigey的整体架构包括高层规划模块、子目标分解模块、低级控制模块和反馈验证模块，形成一个闭环系统，能够实时调整和优化任务执行。
关键创新：Pigey的最大创新在于引入了物理代理协调器的概念，通过高层与低层的分离设计，显著提升了机器人在复杂环境中的适应能力和任务执行效率。
关键设计：在设计中，Pigey使用了特定的损失函数来优化高层规划与低层控制的协同，同时采用了参数化技能和现有的视觉-语言-动作策略，确保了系统的灵活性和可扩展性。
🖼️ 关键图片
📊 实验亮点
Pigey在LIBERO-PRO基准上实现了超过4倍的性能提升，从12.8%提高到53.3%，且在真实机器人上，Pigey将近乎零的成功率提升至90%以上，展示了其在复杂推理任务中的卓越能力。
🎯 应用场景
该研究的潜在应用领域包括家庭服务机器人、工业自动化、医疗辅助机器人等。通过提高机器人在复杂环境中的操作能力，Pigey有望在实际应用中显著提升工作效率和安全性，推动机器人技术的广泛应用与发展。
📄 摘要（原文）
General-purpose robots need to reason about their actions, combining perception, world knowledge, planning, success detection, recovery, and low-level control. Today's state-of-the-art models attempt to combine all these capabilities into the learned policy via large-scale pre-training. Instead, we show that these capabilities can be decomposed into a general language-conditioned policy/control agent and a high-level agent manager/orchestrator. Rather than training policies to reason via pre-training, we build a closed-loop physical agent orchestrator that can do high-level planning, decompose the goal into achievable subgoals, command low-level motor commands, track and verify the outcome from low-level observations, and recover from failures. Our Physical Agency orchestrator (Pigey) can control existing vision-language-action (VLA) policies as well as parametrized skills to solve complex reasoning tasks in the real world, without any additional data collection or post-training. We evaluate Pigey extensively across simulation benchmarks and challenging real-world robotic manipulation tasks, and demonstrate significant performance improvements over existing generalist policies. On LIBERO-PRO, Pigey advances the state-of-the-art by over 4x (12.8% -> 53.3%) with no task-specific fine-tuning. On a real robot, Pigey lifts the frozen policy from near-zero to over 90% on reasoning-limited tasks. We call the difference between what frozen motor skills achieve alone and inside the agentic loop the orchestration gap.