From VLM Planners to Robotic Agents: Self-Evolving Harnesses for History-Dependent Manipulation

📄 arXiv: 2610.29560v1 📥 PDF

作者: Tingwen Du, Haoyu Guo, Hanxue Zhang, Xuanxu Wang, Junting Dong, Chao Gao, Mingfei Han, Tao Lu, Mulin Yu, Chunhua Shen, Xiaojun Chang, Zhihui Li

分类: cs.RO

发布日期: 2026-10-21

💡 一句话要点

提出自演化机器人代理以解决历史依赖的操控问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉-语言-动作 自演化 机器人代理 历史依赖 操控任务 层次化架构 任务上下文

📋 核心要点

  1. 现有方法在处理长时间任务时面临非马尔可夫依赖，难以有效保留任务上下文和交互结果。
  2. 本文提出的SERA通过可编辑的外部结构维护任务上下文，并利用执行反馈进行自我演化以改进规划。
  3. 在RoboMME实验中，SERA实现了51.38%的成功率，相比于未使用自演化的44.38%有显著提升，展示了其有效性。

📝 摘要（中文）

视觉-语言-动作（VLA）模型在具身操控任务中表现出色，但长时间任务可能涉及非马尔可夫依赖，成功决策需要保留任务进展和过去交互结果。现有方法通过引入记忆和层次化架构来应对这些挑战。本文提出了一种可编辑的自演化机器人代理（SERA），通过观察和执行反馈维护和更新任务上下文，从而改善规划。实验表明，SERA在RoboMME上实现了51.38%的整体成功率，相较于未使用自演化的44.38%有显著提升。

🔬 方法详解

问题定义：本文旨在解决长时间操控任务中的非马尔可夫依赖问题，现有方法在任务上下文保留和执行错误累积方面存在不足。

核心思路：提出自演化机器人代理（SERA），通过可编辑的外部结构维护任务上下文，并利用观察和执行反馈进行自我演化，以改进后续的规划决策。

技术框架：SERA的整体架构包括高层的VLA模型和固定的低层控制执行器。高层模型负责任务规划，而低层执行器负责具体的操控执行。

关键创新：SERA的主要创新在于引入了可编辑的外部结构，能够动态维护和更新任务上下文，并通过环境回滚进行自我演化，从而提升规划能力。

关键设计：在设计中，SERA通过观察和执行反馈来更新任务上下文，采用固定的VLA执行器进行低层控制，确保了系统的稳定性和灵活性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在RoboMME实验中，SERA实现了51.38%的整体成功率，相较于未使用自演化的44.38%有显著提升，展示了自演化策略在历史依赖操控中的有效性。

🎯 应用场景

该研究的潜在应用场景包括智能机器人、自动化制造和服务机器人等领域。通过提升机器人在复杂任务中的决策能力，SERA能够在动态环境中更有效地执行任务，具有重要的实际价值和未来影响。

📄 摘要（原文）

Vision-language-action (VLA) models achieve strong performance across embodied manipulation tasks by unifying visual understanding, language conditioning, and action generation. However, long-horizon tasks can involve non-Markovian dependencies: successful decisions may require retaining task progress and past interaction outcomes, while partial observability and execution errors compound over time. Existing work has begun to address these challenges by augmenting foundation-model policies with memory and by introducing hierarchical architectures that separate high-level planning from low-level execution. We organize the high-level VLM as a robotic agent through an editable harness to maintain task context and improve planning through execution experience. We instantiate this approach as SERA (Self-Evolving Robotic Agent), with a fixed VLA executor providing low-level control. The harness maintains and updates task context using observations and execution feedback to guide subsequent planning. Self-evolution uses environment rollouts to propose and evaluate harness revisions, with the selected configuration fixed before held-out testing. On RoboMME, SERA achieves 51.38% overall success with autonomous selection, compared with 44.38% without self-evolution. Our exploration suggests that agentic planning is a promising direction for history-dependent robotic manipulation.