RACaP: Agentic Reasoning, Acting, and Coding as Policies for Evolvable Robot Learning
作者: Zexi Li, Yehang Zhang, Haojian Huang, Bohan Zhou, Wenqian Li, Chenxu Wang, Yifan Chang, Yangkai Wei, Tianyi Zhang, Ying-Cong Chen, Kaiwen Zhou, Yinchuan Li, James Cheng
分类: cs.RO
发布日期: 2026-09-24
💡 一句话要点
提出RACaP框架以解决机器人学习中的编码与决策问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 机器人学习 自我进化 推理与行动 长时间控制 策略API
📋 核心要点
- 现有的CaP方法在长时间任务中表现不佳，成功率低且运行时延迟较高。
- RACaP框架通过将编码与进化分离，利用ReAct循环优化决策过程，提高了机器人学习的效率。
- 在多个实验中，RACaP的成功率和决策速度均显著优于CaP基线，展示了其在长时间控制中的优势。
📝 摘要（中文）
通用机器人代理必须从经验中学习、转移到新任务并高效行动。现有的代码作为策略（CaP）方法在运行时生成和修复程序，导致延迟并将可重用机制与特定任务决策纠缠在一起。本文提出RACaP，一个将编码转移到进化的代理框架，利用推理与行动（ReAct）循环在部署时调用冻结的、类型化的策略API。通过能力课程学习与自主自我进化的两阶段策略，RACaP提升了API、ReAct工具和经验记忆的性能。实验结果显示，RACaP在LIBERO-90上取得54.4%的成功率，在零-shot LIBERO-PRO上为45.0%，在LIBERO-Long上为46.0%，显著优于CaP基线。
🔬 方法详解
问题定义：本文旨在解决现有代码作为策略（CaP）方法在长时间任务中的低成功率和高延迟问题，尤其是在机器人学习中的应用场景。
核心思路：RACaP框架通过将编码过程转移到进化阶段，利用推理与行动（ReAct）循环在运行时调用预定义的策略API，从而实现高效的任务执行和决策。
技术框架：RACaP的整体架构包括能力课程学习与自主自我进化两个主要阶段，结合任务特定的工作记忆、长期经验记忆和视觉反馈，形成一个闭环的决策系统。
关键创新：RACaP的核心创新在于将可重用的代码与运行时决策分离，使得机器人能够在不修改源代码的情况下进行自我进化和适应，显著提升了任务执行的灵活性和效率。
关键设计：在设计中，RACaP采用了冻结的、类型化的策略API，结合拒绝采样的微调方法，优化了决策过程，减少了物理调用次数，从而提升了推理速度。具体实现中，使用了GPT-5.6的ReAct决策进行蒸馏，最终实现了每次决策的推理速度提升13.2倍。
🖼️ 关键图片
📊 实验亮点
RACaP在LIBERO-90上取得54.4%的成功率，在LIBERO-PRO上成功率为45.0%，在LIBERO-Long上为46.0%，相比于CaP基线的最高4.0%成功率，显示出显著的性能提升。此外，RACaP在LIBERO-PRO上实现了2.5倍的成功率提升和1.9倍的中位策略时间加速。
🎯 应用场景
RACaP框架在机器人学习领域具有广泛的应用潜力，能够支持机器人在复杂环境中进行自主学习和任务执行。其高效的决策机制和自我进化能力使得机器人能够快速适应新任务，提升了实际应用中的灵活性和效率，未来可在工业自动化、服务机器人等领域发挥重要作用。
📄 摘要（原文）
General-purpose robot agents must learn from experience, transfer to new tasks, and act efficiently. Code as Policies (CaP) methods generate and repair programs at runtime, incurring latency and entangling reusable mechanisms with task-specific decisions. We introduce RACaP, an agentic framework that moves coding to evolution and uses a Reasoning-and-Acting (ReAct) loop to call frozen, typed Policy APIs at deployment. A two-phase strategy combines capability curriculum learning with autonomous self-evolution to improve the APIs, the ReAct harness, and experience memory. The APIs encode reusable physical mechanisms while exposing arguments for runtime adaptation. ReAct combines task-specific working memory, long-term experience memory, and visual feedback to select actions, verify outcomes, and recover from failures without modifying source code. RACaP achieves 54.4% success on LIBERO-90, 45.0% on zero-shot LIBERO-PRO, and 46.0% on LIBERO-Long, compared with at most 4.0% for CaP baselines on long-horizon tasks. On LIBERO-PRO, it achieves 2.5 times the success rate of CaP baselines and a 1.9-fold speedup in median policy time. For efficient on-robot deployment, rejection-sampled fine-tuning distills GPT-5.6 ReAct decisions into Qwen3-VL-8B-Instruct, yielding a 13.2-fold per-decision inference speedup and reducing repeated physical calls from 16 to 4. These results show that separating reusable code from runtime decisions supports continued evolution, effective transfer, and efficient long-horizon control.