Make Code as Policy Great Again: Frontier Agents Write, Call, and Evolve Robot Tools
作者: Shijia Ge, Alex Zhou, Jianshu Zeng, Yexing Wan, Di Wu, Zelin Zheng, Yazhe Wang, Zhiqi Jia, Xuan Shangguan, Jay Zhu, Yijun Liu, Lingyu He, Sihang Wu, Xiao He, Hongcheng Gao
分类: cs.RO, cs.AI
发布日期: 2026-09-30
💡 一句话要点
提出URAI框架以提升机器人工具的编写与执行效率
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 机器人控制 工具编写 执行效率 动态决策 人机交互 URAI框架 任务优化
📋 核心要点
- 现有方法在机器人操作中推理过程复杂，导致效率低下和计算资源浪费。
- 提出URAI框架，通过编程代理和执行代理的协作，优化工具的构建与执行过程。
- 实验显示，URAI在多个任务中显著提升成功率和执行速度，减少了计算资源的消耗。
📝 摘要（中文）
前沿模型能够控制机器人，但在每次抓取和撤退时的推理过程使得操作变得缓慢且消耗大量计算资源。本文提出了一种新的代码作为策略的方法，利用URAI（通用机器人-代理接口）将编程代理与执行代理结合，编程代理根据任务意图构建可执行工具，并通过执行反馈和人类指导进行优化。执行代理从当前观察中选择和参数化这些工具，每次调用在本地完成完整动作后再将控制权返回给代理。实验结果表明，URAI在五个RoboDojo任务中将成功率从18.0%提升至53.0%，并在七个真实世界的AgileX双臂任务中表现出色。
🔬 方法详解
问题定义：本文旨在解决现有机器人操作方法中推理过程复杂、效率低下的问题。现有方法在每次操作时需要进行大量的推理，导致操作速度慢且消耗大量计算资源。
核心思路：本文提出URAI框架，通过将编程代理与执行代理分工合作，编程代理负责构建可执行工具，而执行代理则负责使用这些工具并进行反馈循环。这种设计保留了模型级的决策能力，使得工具的使用更加灵活高效。
技术框架：URAI框架包括两个主要模块：编程代理和执行代理。编程代理根据任务意图构建可重用的工具，并通过执行反馈进行优化；执行代理则从当前观察中选择和参数化工具，每次调用在本地完成完整动作。
关键创新：URAI的最大创新在于将编程与决策能力结合，使得机器人在执行任务时能够动态调整工具的使用，而不是依赖于预先生成的程序。这一设计显著提升了操作的灵活性和效率。
关键设计：在URAI中，编程代理生成的工具是任务特定的，并且可以通过人类指导进行优化。执行代理则在每次调用时运行完整的动作，并在完成后返回控制权，确保了操作的连贯性和实时性。该框架的设计使得工具的修订能够在不同任务间持续有效，而无需更新基础模型的权重。
🖼️ 关键图片
📊 实验亮点
实验结果显示，URAI在五个RoboDojo任务中成功率从18.0%提升至53.0%，在相同工具下，预先编写的程序成功率仅为24%，而URAI的动态决策能力使得成功率达到56%。此外，三个执行代理的任务完成速度提高了1.3至1.5倍，执行输出令牌减少了1.5至1.7倍，显示出显著的效率提升。
🎯 应用场景
URAI框架具有广泛的应用潜力，尤其是在需要复杂操作的机器人任务中，如物体操控、布料折叠和人机交互等场景。通过提升机器人工具的编写与执行效率，URAI能够在工业自动化、服务机器人和智能家居等领域发挥重要作用，推动机器人技术的进一步发展。
📄 摘要（原文）
Frontier models can control robots, but reasoning through every reach, grasp, and retreat makes manipulation slow and token-intensive. We revisit code as policy with a different division of labor: models build executable tools, code handles multi-phase motions, and models decide what to do next. We introduce URAI (Universal Robot-Agent Interface), which couples a programming agent that constructs robot tools with an execution agent that uses them in a feedback loop. The programming agent writes reusable and task-specific tools from task intent and refines them through execution feedback and human guidance. The execution agent selects and parameterizes these tools from current observations; each call runs a complete motion locally before returning control to the agent. Unlike delegating subsequent decisions to a generated program, this design retains model-level decision-making between tool executions. Validated tool revisions persist across episodes without updating foundation-model weights, and a shared GUI and API make the same tools available to humans and agents. Across five RoboDojo tasks and four frozen execution agents, URAI raises aggregate success from 18.0% to 53.0% relative to direct fingertip control, with the largest gain on Swap Blocks; with the same tools, a program written in advance reaches only 24% against 56% for two agents deciding after each call. Three of the four agents also finish episodes 1.3-1.5 times faster with 1.5-1.7 times fewer execution-agent output tokens; DeepSeek-V4-Flash's cost barely changes. We further evaluate URAI on seven real-world AgileX dual-arm tasks, spanning object manipulation, cloth folding, and human-interactive tic-tac-toe. URAI connects the coding and decision-making capabilities of frontier agents, organizing robot control around reusable tools that agents can both invoke and revise.