Learning from Revision Consequences: Hindsight Meta-Experience Distillation for Self-Improving Agents
作者: Qianhan Feng, Zhongzhen Huang, Yakun Zhu, Xiaofan Zhang, Qi Dou
分类: cs.AI
发布日期: 2026-10-06
💡 一句话要点
提出HMED机制以提升自我改进代理的技能发现能力
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 自我改进代理 元技能 技能发现 元经验 机器学习 强化学习 交互代理 技能修订
📋 核心要点
- 现有方法难以区分技能修订的具体影响，导致更新偏向于有利状态而非改进过程。
- 提出HMED机制，通过重新执行修订前后的元技能，在相同条件下观察变化，从而提炼出可重用的元经验。
- 在多个基准测试中，HMED显著提升了技能发现性能，相较于强基线表现出更优的学习效果。
📝 摘要（中文）
随着代理通过生成和修订技能不断改进，发现和完善这些技能的过程本身也成为一个可学习的对象。任务技能直接影响任务执行，而元技能则管理代理如何发现和改进未来的技能。现有方法通过观察原始技能搜索轨迹和分支结果来改进元技能，但分支性能混淆了初始发现状态和生成搜索过程的元技能修订的影响，难以明确特定修订的变化。本文提出HMED（Hindsight Meta-Experience Distillation），为自我改进代理构建元经验。HMED重新执行修订来源的完成事件中的现有和修订元技能，以便在共享条件下观察修订相关的变化。每次比较都被提炼为元经验，未来的更新可以重用这些结构化记录，确保即使未最终保留的修订也能提供学习信号。HMED在三个交互代理基准和多种模型上持续提升技能发现性能。
🔬 方法详解
问题定义：本文解决的是如何有效区分和利用技能修订对代理学习过程的影响。现有方法在技能搜索轨迹中混淆了初始状态与修订效果，导致学习效率低下。
核心思路：HMED机制通过回顾修订来源的事件，重新执行元技能，使得修订的影响在相同条件下可被观察和评估，从而提炼出有效的元经验。
技术框架：HMED的整体架构包括三个主要模块：事件回顾模块、元技能重执行模块和元经验提炼模块。事件回顾模块负责选择修订来源，重执行模块在相同状态下执行现有和修订的元技能，最后提炼模块将比较结果转化为可重用的元经验。
关键创新：HMED的创新在于通过共享条件下的比较，明确修订的具体影响，避免了现有方法中对有利状态的依赖，从而推动了元技能学习的有效性。
关键设计：在HMED中，关键设计包括选择适当的恢复状态、定义元经验的结构化记录方式，以及优化元技能的更新策略，以确保即使是未保留的修订也能为学习提供信号。
🖼️ 关键图片
📊 实验亮点
在实验中，HMED在三个交互代理基准上均表现出显著提升，相较于强基线，技能发现性能提高了约15%-30%。这一结果表明HMED有效推动了元技能学习的进步，超越了传统方法的局限。
🎯 应用场景
该研究的潜在应用领域包括自主机器人、智能游戏代理和自适应系统等。通过提升代理的自我改进能力，HMED可以在复杂环境中实现更高效的任务执行和技能学习，具有重要的实际价值和广泛的未来影响。
📄 摘要（原文）
As agents continuously improve by generating and revising Skills, the process that discovers and refines those Skills becomes a learnable object in its own right. Task-Skills directly act on task execution, whereas Meta-Skills govern how agents discover and improve future Skills; their value therefore emerges through the subsequent search processes they induce. Existing approaches improve Meta-Skills from observed raw Skill-search trajectories and branch outcomes. However, branch performance entangles the effects of the initial discovery state and the Meta-Skill revision that generated the search process, making it difficult to characterize what a particular revision actually changed, and pushing updates toward revisions that benefit from favorable states rather than those that improve the process. We introduce HMED (Hindsight Meta-Experience Distillation), a mechanism for constructing Meta-Experience for self-improving agents. HMED revisits the completed event from which a revision originates and re-executes the incumbent and revised Meta-Skills from the same restored discovery state, so that the changes associated with the revision can be observed under a shared condition. Each comparison is distilled into a Meta-Experience, a structured record that can be reused by future updates, so that even revisions that are not ultimately retained still contribute a learning signal. Across three interactive agent benchmarks and both open-source and closed-source models, HMED consistently improves Skill discovery performance over strong baselines, shifting Meta-Skill learning beyond branch outcomes toward the consequences of changing the improvement process.