AgenticRoboRL: Bringing Coding-Agent Post-Training to Agentic Robotics

📄 arXiv: 2610.28589v1 📥 PDF

作者: Xinxin Liu, Bingxin Xu, Wenrui Bao, Ming Li, Wentao Bao, Chen Chen, Yuzhang Shang

分类: cs.RO

发布日期: 2026-10-20

💡 一句话要点

提出AgenticRoboRL以提升机器人规划能力

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 机器人规划 后训练 强化学习 执行机制 智能制造 自主决策 适配器机制

📋 核心要点

  1. 现有的Agentic机器人系统依赖于闭源模型作为规划器，未能提升规划器的内在能力，限制了其性能。
  2. 本文提出AgenticRoboRL框架，通过后训练技术提升机器人规划器的能力，适配不同的执行机制。
  3. 在LIBERO-PRO上，AgenticRoboRL将9B参数规划器的成功率从18.1%提升至71.0%，显示出后训练的有效性。

📝 摘要（中文）

Agentic机器人系统结合规划器与机器人执行装置以完成复杂的操作任务。尽管近期研究通过改进执行装置和外部记忆提升了这些系统的性能，但仍依赖于强大的闭源模型作为规划器，并未提升规划器自身的能力。本文探讨了后训练是否能改善机器人规划器，提出了AgenticRoboRL框架，结合监督微调与多轮强化学习，适配不同执行机制。实验结果表明，该框架将一个9B参数的规划器的成功率从18.1%提升至71.0%，接近使用外部记忆的Codex (GPT-5.5)的72.1%。

🔬 方法详解

问题定义：本文旨在解决现有Agentic机器人系统中规划器能力不足的问题，现有方法依赖闭源模型，限制了自主性和灵活性。

核心思路：通过后训练技术提升机器人规划器的性能，结合监督微调与多轮强化学习，适配不同的执行机制以实现更高的成功率。

技术框架：AgenticRoboRL框架包括多个模块，首先是记录规划器与任务结果的交互，然后通过特定适配器连接这些交互与任务结果，最后在固定执行组件的基础上进行强化学习训练。

关键创新：最重要的创新在于提出了适配器机制，使得不同执行机制的规划器能够在统一的强化学习训练管道中进行后训练，从而提升其性能。

关键设计：在训练过程中，采用了监督微调与多轮强化学习的结合，设计了适配器以连接不同的执行机制，确保训练过程的有效性与灵活性。具体的参数设置和损失函数设计在实验中进行了优化。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

在LIBERO-PRO实验中，AgenticRoboRL将9B参数的规划器成功率从18.1%提升至71.0%，接近Codex (GPT-5.5)的72.1%，显示出后训练在提升机器人规划能力方面的显著效果。

🎯 应用场景

该研究的潜在应用领域包括智能制造、服务机器人和自主移动机器人等，能够显著提升机器人在复杂环境中的操作能力和自主决策能力。未来，随着技术的进一步发展，AgenticRoboRL框架可能会在更多领域得到应用，推动机器人技术的进步。

📄 摘要（原文）

Agentic robotics systems combine planners with robot harnesses to perform complex manipulation tasks. Recent work improves these systems through better harnesses and external memory, but relies on powerful closed-source models as planners and does not improve the planners' own capabilities. In contrast, coding agents have improved substantially by post-training the model itself. We therefore investigate whether post-training can also improve robot planners. However, applying it across robot harnesses requires accommodating different execution mechanisms, including VLA skill invocation and control-code generation. To this end, we introduce AgenticRoboRL, a framework for post-training robot planners across different harnesses. The training recipe combines supervised fine-tuning with multi-turn reinforcement learning. To accommodate different execution mechanisms, harness-specific adapters connect recorded planner interactions with task outcomes, enabling a common RL training pipeline while keeping execution components fixed. On LIBERO-PRO, AgenticRoboRL raises the success rate of a 9B-parameter planner from 18.1% to 71.0% without external memory, approaching the 72.1% achieved by Codex (GPT-5.5) with external memory. These results demonstrate post-training as an effective approach for improving robot planners. We will release the framework and trained planner checkpoints.