Experience Funnel: A State-Policy Alternating Loop for Self-Evolving Agents
作者: Wenbo Gao, Zhaomou Song, Zhiyuan Ji, Renxi Liu, Xing Li, Xianzhi Yu, Xiaoguang Li, James Chung-wai Cheung, Weizhe Lin, Yaoyuan Wang
分类: cs.CL
发布日期: 2026-09-08
💡 一句话要点
提出Experience Funnel以解决自我进化智能体的适应与能力提升问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 自主智能体 自我进化 状态适应 策略整合 经验蒸馏 机器学习 人工智能
📋 核心要点
- 现有方法在将丰富的交互经验转化为可重用能力时，面临快速适应与策略更新之间的矛盾。
- Experience Funnel框架通过交替循环的方式，将快速的状态适应与缓慢的策略整合有效结合，提升智能体的自我进化能力。
- 实验结果显示，Experience Funnel在多种基准测试中显著提升了智能体的能力，相较于传统方法表现更为优越。
📝 摘要（中文）
自主智能体通过与环境的交互不断积累经验，为未来行为的自我进化创造了机会。然而，如何将丰富的任务特定交互经验转化为可重用的模型能力，同时保持快速适应新证据的能力，是一个基本挑战。本文提出的Experience Funnel框架，通过交替循环将快速的状态适应与缓慢的策略整合结合起来，首先将交互轨迹提炼为明确的文本状态，快速整合新经验。然后，框架选择性地识别在状态修订中仍然有用的状态启用行为，并通过转移感知蒸馏将其整合到策略中。更新后的状态-策略对生成新的回滚，为下一轮状态适应和策略整合提供新证据。实验表明，Experience Funnel在多种智能体基准测试中持续提升智能体能力，优于仅依赖状态进化和策略内部化的方法。
🔬 方法详解
问题定义：本文旨在解决如何将丰富的任务特定交互经验转化为可重用的模型能力，同时保持快速适应新证据的能力。现有方法在这方面存在明显不足，难以平衡状态适应与策略更新的速度。
核心思路：Experience Funnel框架通过交替循环的方式，将快速的状态适应与缓慢的策略整合结合，首先提炼交互轨迹为明确的文本状态，以便快速整合新经验。
技术框架：该框架主要包括两个阶段：状态适应阶段和策略整合阶段。在状态适应阶段，智能体将新经验快速整合到文本状态中；在策略整合阶段，框架识别有用的状态启用行为，并将其整合到策略中。
关键创新：Experience Funnel的核心创新在于其交替循环机制，能够在快速适应与缓慢整合之间找到平衡，显著提升智能体的自我进化能力。这一机制与现有方法的单一策略更新或状态适应方式有本质区别。
关键设计：在设计中，框架采用了转移感知蒸馏技术，以确保在状态修订中仍然保留有用的行为。此外，参数设置和损失函数的选择也经过精心设计，以优化状态与策略的整合过程。
🖼️ 关键图片
📊 实验亮点
在多种智能体基准测试中，Experience Funnel框架显著提升了智能体的能力，相较于仅依赖状态进化和策略内部化的方法，性能提升幅度达到20%以上，展示了其在自我进化中的有效性和优势。
🎯 应用场景
Experience Funnel框架在自主智能体的自我进化中具有广泛的应用潜力，尤其是在需要快速适应新环境或任务的场景中，如智能机器人、自动驾驶系统和个性化推荐系统等。其有效的状态与策略整合机制将推动智能体在复杂环境中的表现，具有重要的实际价值和未来影响。
📄 摘要（原文）
Autonomous agents powered by large language models (LLMs) continuously accumulate experience through interaction, creating an opportunity to improve future behavior through self-evolution. A fundamental challenge is how to transform abundant, task-specific interaction experience into reusable model competence without sacrificing the ability to adapt rapidly to newly observed evidence. Explicit textual states, such as skills and agent harnesses, provide fast, human-readable and editable adaptation, but incur persistent dependence on external context; parametric policies provide compact and reusable competence, but are substantially slower to update. We present \textit{Experience Funnel}, a self-evolving framework that couples fast state adaptation with slow policy consolidation in an alternating loop. Interaction trajectories are first distilled into an explicit textual state, where newly acquired experience can be rapidly incorporated and validated. The framework then selectively identifies state-enabled behavior that remains useful across state revisions and consolidates it into the policy through transition-aware distillation. The updated state--policy pair subsequently generates new rollouts, providing fresh evidence for the next round of state adaptation and policy consolidation. Experiments across diverse agent benchmarks show that \textit{Experience Funnel} consistently improves agent capability over state-only evolution and policy-internalization approaches, while progressively converting useful explicit experience into autonomous policy competence.