SPyCE: Skill-Policy Co-evolution for Multimodal Agents

📄 arXiv: 2607.13854v1 📥 PDF

作者: Ru Zhang, Weijie Qiu

分类: cs.CL

发布日期: 2026-07-15

💡 一句话要点

提出SPyCE框架以解决多模态智能体的技能与策略共演化问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态智能体 技能-策略共演化 强化学习 层次化技能库 工具使用 经验重用 动态更新 智能决策

📋 核心要点

  1. 现有强化学习方法依赖于标量奖励，导致策略在每个新任务中无法有效利用过去经验。
  2. SPyCE框架通过将轨迹提炼为可重用技能，并与策略共同演化，解决了现有方法的不足。
  3. 实验结果显示，SPyCE在多个基准测试中表现优异，超越了传统的强化学习和记忆基线方法。

📝 摘要（中文）

多模态智能体通过图像进行推理，迭代地操作视觉证据并调用工具。现有强化学习方法将轨迹简化为标量奖励，迫使策略在每个新任务中重新发现可重用的工具使用模式；而基于记忆的方法则依赖于测试时的检索，未能更新策略以吸收可重用模式。本文提出SPyCE（技能-策略共演化）框架，将轨迹提炼为可重用的技能，并在训练过程中与策略共同演化。执行技能捕捉局部视觉操作，而工作流技能编码高层次的先验知识以协调工具使用。实验表明，SPyCE在八个基准测试中均优于现有的强化学习和记忆基线，显示出联合技能-策略优化在构建多模态智能体方面的潜力。

🔬 方法详解

问题定义：本文旨在解决多模态智能体在新任务中无法有效利用过去经验的问题。现有方法通过标量奖励简化轨迹，导致策略无法重用技能，基于记忆的方法又依赖于静态检索，未能动态更新策略。

核心思路：SPyCE框架的核心思想是将多模态推理轨迹提炼为可重用的技能，并在训练过程中与策略共同演化。这样的设计使得智能体能够在新任务中更有效地利用已有技能，提升学习效率。

技术框架：SPyCE框架包括两个主要模块：技能库和策略模型。技能库在训练过程中不断更新，提炼出执行技能和工作流技能，而策略模型则基于技能库中的技能指导其决策和行动。

关键创新：SPyCE的创新之处在于技能与策略的共演化机制，打破了传统方法中技能与策略之间的静态关系，使得两者能够在训练过程中相互促进。

关键设计：在设计上，SPyCE采用了层次化技能库结构，执行技能关注局部操作，工作流技能则提供高层次的工具使用先验。此外，损失函数设计考虑了技能的有效性和策略的优化目标，确保两者的协同进化。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在八个基准测试中，SPyCE框架的表现均优于现有的强化学习和记忆基线方法，显示出显著的性能提升。具体而言，SPyCE在某些任务上提升了超过20%的成功率，验证了其在技能与策略共演化方面的有效性。

🎯 应用场景

该研究的潜在应用场景包括智能机器人、自动化工具使用和复杂任务的多模态交互系统。通过提升智能体的学习能力和适应性，SPyCE框架可以在实际应用中显著提高任务完成效率，推动多模态智能体的广泛应用与发展。

📄 摘要（原文）

Multimodal agents that think with images iteratively manipulate visual evidence and invoke tools across many steps. Existing reinforcement learning methods reduce trajectories to scalar rewards, forcing the policy to discover reusable tool-use patterns from scratch on every new task; memory-based alternatives retain past experience, yet they rely on test-time retrieval, without updating the policy to absorb reusable patterns from that experience. Our key insight is that multimodal reasoning trajectories should be distilled into reusable skills that co-evolve with the policy during training, rather than being consumed as rewards or retrieved from a static store. To this end, we propose SPyCE (Skill-Policy Co-evolution), a framework that distills trajectories into a hierarchical skill library and updates it throughout reinforcement learning. Execution skills capture local visual operations, while workflow skills encode high-level priors that orchestrate tool use. During training, the policy model conditions on retrieved skills to guide its rollouts, while the skill library evolves using valuable rollouts generated by the policy. This creates a closed loop in which improved policies yield better skills, and the evolving skill library, in turn, provides stronger priors for policy rollouts. Experiments across eight benchmarks demonstrate that SPyCE consistently outperforms both RL-based and memory-based baselines. Further analysis reveals that both the hierarchical skill design and the co-evolution mechanism are critical to our design. These results suggest joint skill-policy optimization as a promising paradigm for building capable multimodal agents.