RAPID: Robot Agentic Programming from Demonstrations

📄 arXiv: 2609.30249v1 📥 PDF

作者: Yuyao Liu, Jiayuan Mao, David Hsu, Leslie Pack Kaelbling, Tomás Lozano-Pérez

分类: cs.RO, cs.AI, cs.CV

发布日期: 2026-09-24

💡 一句话要点

提出RAPID以解决机器人编程自动化问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: 机器人编程 自动化 视觉演示 任务规范 动作原语 程序验证 泛化能力

📋 核心要点

  1. 现有的机器人编程方法在处理复杂任务时缺乏灵活性和自动化程度，往往需要大量的手动干预。
  2. RAPID通过从单个视觉演示中自动生成、验证和优化机器人程序，提供了一种高效的编程解决方案。
  3. 在模拟和真实环境中，RAPID在多个非抓取任务上表现优异，展示了其在多样化场景中的泛化能力。

📝 摘要（中文）

编码代理在解决复杂编程问题方面取得了巨大成功。为利用其在机器人系统中的潜力，本文提出了基于演示的机器人代理编程（RAPID），该方法能够根据单个视觉人类演示自动生成、验证和优化机器人程序。代码优化的迭代过程需要几个关键要素：可测试的任务规范、机器人执行的动作原语以及用于程序执行和验证的交互环境。RAPID能够自动推断这三者。为了使生成的程序在演示设置之外可重用，RAPID采用了以对象为中心的关系程序表示，关注演示策略的基础结构，而非具体的运动。我们在模拟环境中对RAPID进行了评估，涵盖了八个具有挑战性的接触丰富的非抓取操作任务，以及LIBERO-Pro基准中的一般抓取操作任务，并在真实的Franka手臂上成功部署，评估了所有八个非抓取任务。在所有实验中，RAPID表现出色，能够在物体姿态、形状、材料和环境上实现泛化。

🔬 方法详解

问题定义：本文旨在解决机器人编程的自动化问题，现有方法往往依赖于手动编写代码，缺乏灵活性和适应性。

核心思路：RAPID通过从人类演示中自动推断任务规范、动作原语和交互环境，形成一个迭代的代码优化循环，以实现高效的机器人编程。

技术框架：RAPID的整体架构包括三个主要模块：任务规范推断、动作原语生成和程序执行与验证。首先，从演示中提取任务规范；其次，生成适合机器人执行的动作原语；最后，在交互环境中执行并验证生成的程序。

关键创新：RAPID的主要创新在于其对象中心的关系程序表示，关注演示策略的结构而非具体运动，允许程序在不同场景中重用。

关键设计：RAPID设计了基于轨迹优化的动作原语，结合场景特定几何关系，通过关系约束实现对象级运动效果，确保程序的灵活性和适应性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在实验中，RAPID在八个非抓取任务上表现出色，成功在模拟和真实环境中部署，展示了在物体姿态、形状、材料和环境变化下的强泛化能力。具体而言，RAPID在LIBERO-Pro基准测试中的表现优于现有方法，显著提升了任务执行的灵活性和效率。

🎯 应用场景

RAPID的研究成果具有广泛的应用潜力，特别是在服务机器人、工业自动化和智能家居等领域。通过自动化编程，RAPID能够显著降低机器人编程的门槛，使得非专业人员也能轻松实现复杂任务的自动化。此外，RAPID的泛化能力使其在多变的环境中依然能够高效执行任务，具有重要的实际价值和未来影响。

📄 摘要（原文）

Coding agents have demonstrated enormous success in solving complex programming problems. To leverage their potential for robot systems, this work introduces Robot Agentic Programming from Demonstrations (RAPID), which automatically generates, verifies, and refines robot programs, given a single visual human demonstration. The iterative agentic loop of code refinement requires several key ingredients: (i) a testable task specification, (ii) action primitives for robot execution, and (iii) an interactive environment for program execution and verification. RAPID infers all three from the demonstration automatically. To make the resulting program reusable beyond the demonstration setting, RAPID uses an object-centric relational program representation that focuses on the underlying structure of the demonstrated strategy rather than the specific motion per se: it expresses the action primitives as trajectory-optimization programs that realize object-level motion effects, while composing them through relational constraints that capture scene-specific geometry at run time. We evaluated RAPID in simulation on eight challenging contact-rich nonprehensile manipulation tasks as well as general prehensile manipulation tasks in the LIBERO-Pro benchmark. We also successfully deployed it on a real Franka arm and evaluated on all eight nonprehensile tasks. In all experiments, RAPID demonstrated strong performance, with generalization over object pose, shape, material, and environment. Website: https://yuyaoliu.me/projects/rapid.