OpenRUA: Robot-Use Agents Are Zero-Shot Visuomotor Policies

📄 arXiv: 2610.02459v1 📥 PDF

作者: Zhaoyang Chu, Earl T. Barr, Claire Le Goues, Peter O'Hearn, Mark Harman, Federica Sarro, He Ye

分类: cs.RO

发布日期: 2026-10-01

🔗 代码/项目: GITHUB

💡 一句话要点

提出OpenRUA以实现机器人控制的零-shot视觉运动策略

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: 机器人控制 零-shot学习 视觉运动策略 编码代理 ROS 2 自发编程 自动化 智能制造

📋 核心要点

  1. 现有方法通常依赖复杂的定制化工程，限制了编码代理在机器人控制中的灵活性和效率。
  2. OpenRUA通过提供对ROS 2的直接访问，采用极简的工作空间设计，允许编码代理自主组织工作，简化了控制过程。
  3. 实验结果显示，OpenRUA在多个基准测试中表现优异，成功率高达99.0%，证明了其在零-shot学习中的潜力。

📝 摘要（中文）

随着编码代理向物理世界的扩展，OpenRUA被提出为一种零抽象的控制程序，旨在简化机器人控制的复杂性。该方法通过提供对ROS 2的直接终端访问，避免了定制化的抽象层。OpenRUA的设计使得编码代理能够在没有专门工作流的情况下，自主组织工作。在实验中，OpenRUA在CaP-Bench和LIBERO-PRO上分别取得99.0%和87.0%的成功率，展示了其作为零-shot视觉运动策略的有效性。该研究揭示了编码代理在感知和操作中的自发行为，具有重要的实际应用价值。

🔬 方法详解

问题定义：本论文旨在解决现有机器人控制方法中复杂的定制化工程问题，现有方法通常需要专门的工作流和接口，限制了编码代理的灵活性和适应性。

核心思路：OpenRUA的核心思路是通过提供对机器人原生软件接口ROS 2的直接终端访问，消除定制化的抽象层，使编码代理能够在极简的环境中自主进行感知和操作。

技术框架：OpenRUA的整体架构包括一个极简的工作空间，提供ROS 2文档和基本工具，编码代理在此环境中进行文件输入输出和操作控制。

关键创新：OpenRUA的主要创新在于其零抽象设计，允许编码代理在没有专门训练或任务特定原语的情况下，直接与机器人进行交互，展现出自发的编程能力。

关键设计：在设计中，OpenRUA强调了对ROS 2的直接访问，编码代理能够在96.80%的情况下自发编写处理原始传感器输入的程序，并在95.87%的情况下构建运动控制客户端。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在实验中，OpenRUA在CaP-Bench上取得了99.0%的成功率，在LIBERO-PRO上达到了87.0%的成功率，显示出其作为零-shot视觉运动策略的有效性。编码代理在感知和操作方面展现出自发编程能力，分别在96.80%和95.87%的情况下成功构建相关程序。

🎯 应用场景

OpenRUA的研究成果具有广泛的应用潜力，尤其在机器人自动化、智能制造和人机协作等领域。通过简化机器人控制的复杂性，OpenRUA能够加速机器人技术的普及和应用，推动智能系统的自主学习和适应能力的发展。

📄 摘要（原文）

Coding agents are extending their reach into the physical world by writing and executing robot control programs. One might expect the agents to use the existing mature software stack that engineers have developed over decades to access sensors and control motion. Yet prior work primarily engineers complex custom harnesses to orchestrate agents for robot use, particularly by prescribing specialized workflows and providing bespoke interfaces. This raises the question: "Is such additional harness engineering necessary?" We introduce OpenRUA, a zero-abstraction harness that bypasses bespoke abstraction layers by providing off-the-shelf coding agents with only terminal access to the robot's native software interface ROS 2. OpenRUA employs a minimalist workspace-as-harness design, only offering ROS 2 documentation and basic tools while leaving the coding agent to organize its own work without orchestrating any agentic workflow. Within this workspace, OpenRUA recasts perception as file I/O and manipulation as coding. With Claude Code powered by Claude Opus 5, OpenRUA achieves success rates of 99.0% on CaP-Bench and 87.0% on LIBERO-PRO, demonstrating that an off-the-shelf coding agent can serve as a zero-shot visuomotor policy through the robot's native interface, without bespoke primitives or task-specific training. Under this minimalist design, further analysis reveals striking emergent behaviors of coding agents: (1) For perception, the agent spontaneously writes programs that process raw sensory inputs and derive metric measurements in 96.80% of episodes. (2) For manipulation, the agent spontaneously builds motion-control clients (e.g., gripper control) in 95.87% of episodes and closed-loop control programs (e.g., adjusting motion based on sensor feedback) in 50.13% of episodes. Our code is available at https://github.com/terminalworld/OpenRUA.