MobiAgent: Dual-Loop Recursive Policy Self-Improvement for Long-Horizon Mobile Manipulation

📄 arXiv: 2610.03476v1 📥 PDF

作者: Chenzhi Liu, Yue Zhang, Jiehong Lin, Jianan Wang, Bo Wang, Zhongrui Wang, Xiaojuan Qi

分类: cs.RO, cs.AI

发布日期: 2026-10-02

备注: Accepted at the Conference on Robot Learning (CoRL) 2026. Project page: https://kaiknower.github.io/mobiagent

💡 一句话要点

提出MobiAgent以解决长时间移动操控中的执行错误问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 长时间移动操控 视觉-语言模型 双循环框架 技能组合 自主学习

📋 核心要点

  1. 长时间移动操控面临执行错误累积和能力干扰等重大挑战，现有方法难以有效应对。
  2. MobiAgent通过双循环框架实现高层推理与低层控制的解耦，动态组合技能以增强错误恢复能力。
  3. 在BEHAVIOR-1K上，MobiAgent相较于基线提升22.5个百分点，RoboCasa的成功率从7.50%提升至27.50%。

📝 摘要（中文）

长时间移动操控面临显著挑战，主要由于执行错误的累积和移动与手臂控制之间的能力干扰。尽管近期的视觉-语言-动作模型在短时间任务中表现优异，但缺乏多阶段目标所需的层次推理。此外，现有的层次代理存在子任务映射僵化、重规划不灵活和缺乏持续学习等问题。为了解决这些局限性，我们提出了MobiAgent，一个双循环代理框架，连接了稳健的部署执行和递归策略自我改进。在部署过程中，内循环通过高度可组合的原子技能将高层推理与低层控制解耦，利用视觉-语言模型进行逐步规划和视觉反思，动态组合技能以确保稳健的错误恢复。外循环则通过自主分割和验证部署结果，聚类以发现原子技能，并在没有人工标注的情况下持续微调技能库。对RoboCasa、BEHAVIOR-1K和现实任务的评估证明了MobiAgent的有效性。

🔬 方法详解

问题定义：长时间移动操控中的执行错误累积和能力干扰是主要挑战，现有方法在处理多阶段目标时缺乏灵活性和持续学习能力。

核心思路：MobiAgent通过双循环框架将高层推理与低层控制解耦，利用视觉-语言模型进行动态技能组合，从而提高任务执行的稳健性和灵活性。

技术框架：MobiAgent包含内循环和外循环两个主要模块。内循环负责高层推理与低层控制的解耦，外循环则进行技能的自主发现和微调。

关键创新：MobiAgent的双循环结构是其核心创新，内循环和外循环的结合使得系统能够在执行过程中不断学习和优化，克服了现有方法的局限性。

关键设计：在技能组合中，采用了共享的视觉-语言模型作为基础，确保了技能的可重用性，并通过动态调整技能组合来应对不同的任务需求。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

MobiAgent在BEHAVIOR-1K上相较于基线提升22.5个百分点，显示出其在复杂任务中的优越性。同时，通过自主数据回收，RoboCasa的成功率从7.50%提升至27.50%，Astribot S1的成功率从32.5%提升至57.5%，证明了其有效性。

🎯 应用场景

MobiAgent的研究成果在机器人领域具有广泛的应用潜力，尤其是在复杂环境中的移动操控任务，如家庭服务机器人、工业自动化和救援任务等。其持续学习能力和稳健的错误恢复机制将显著提升机器人在动态环境中的适应性和效率。

📄 摘要（原文）

Long-horizon mobile manipulation presents significant challenges due to compounding execution errors and capacity interference between locomotion and arm control. While recent Vision-Language-Action models excel at short-horizon tasks, they lack the hierarchical reasoning required for multi-stage objectives. Furthermore, existing hierarchical agents suffer from rigid sub-task mapping, inflexible replanning, and a lack of continuous learning. To address these limitations, we introduce MobiAgent, a dual-loop agentic framework that bridges robust deployment execution and recursive policy self-improvement. During deployment, the Inner Loop decouples high-level reasoning from low-level control through highly composable atomic skills. It employs Vision-Language models for receding-horizon planning and visual reflection, dynamically composing skills to ensure robust error recovery. These skills are executed by specialized flow-matching experts that share a unified VLM backbone, maximizing reusability while mitigating capacity interference. Concurrently, the Outer Loop drives automated lifelong learning by autonomously segmenting and verifying deployment rollouts, clustering them to discover atomic skills, and continuously fine-tuning the skill library without human annotations. Evaluations on RoboCasa, BEHAVIOR-1K, and real-world tasks demonstrate the effectiveness of MobiAgent. It outperforms $π_{0.5}$-TA by 22.5 percentage points on BEHAVIOR-1K and enables robust recovery from execution failures. Through autonomous data recycling, success improves from 7.50% to 27.50% on RoboCasa and from 32.5% to 57.5% on Astribot S1.