Sample-Efficient Learning from Agent Experience

📄 arXiv: 2607.21051v1 📥 PDF

作者: Chenhui Gou, Haoqin Tu, Yunhao Fang, Jianfei Cai, Hamid Rezatofighi

分类: cs.CL

发布日期: 2026-07-23

💡 一句话要点

提出经验蒸馏方法以提高代理学习的样本效率

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 样本效率 经验蒸馏 上下文学习 强化学习 代理学习

📋 核心要点

  1. 现有的学习方法在环境交互上成本高，尤其是在真实世界应用中，限制了代理的学习效率。
  2. 本文提出的经验蒸馏方法，旨在通过内化代理的交互历史来提高样本效率，避免额外的环境交互。
  3. 实验结果显示，该方法在多个任务上显著保留了上下文学习的收益，且减少了对环境样本的需求。

📝 摘要（中文）

现实世界中的代理学习常受到环境交互成本的限制，例如耗时的实验或获取人类反馈。上下文学习为代理提供了一种高效的样本学习方式，但一旦经验被移除，其优势便消失。本文提出的经验蒸馏方法，旨在将上下文信息内化到模型权重中，而无需额外的环境交互。通过在749个软件工程任务和六个文本冒险游戏上的实验，证明该方法在两个领域中保留了至少64.8%的上下文学习收益，而直接的监督微调仅恢复了3.8%。与经典的强化学习基线相比，基于试错经验的上下文学习结合经验蒸馏，至少减少了9.6倍的环境样本需求，达到了相似的性能。

🔬 方法详解

问题定义：本文解决的问题是如何在不增加环境交互的情况下，从代理的交互历史中高效学习。现有方法在处理经验时往往需要额外的环境交互，导致样本效率低下。

核心思路：提出的经验蒸馏方法通过将上下文信息内化到模型权重中，使得代理能够在没有额外交互的情况下，充分利用已有的经验进行学习。

技术框架：整体架构包括经验收集、上下文信息提取和模型权重更新三个主要模块。首先，代理通过与环境的交互收集经验；然后，提取上下文信息并进行蒸馏；最后，更新模型权重以反映内化的知识。

关键创新：最重要的创新点在于提出了经验蒸馏这一概念，能够在不牺牲样本效率的前提下，充分利用代理的交互历史进行学习。这与传统的上下文学习方法形成了鲜明对比。

关键设计：在设计中，采用了特定的损失函数来优化模型权重更新，并通过实验验证了不同参数设置对学习效果的影响，确保了模型在多个任务上的高效性。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果表明，经验蒸馏方法在749个软件工程任务和六个文本冒险游戏中，保留了至少64.8%的上下文学习收益，而直接的监督微调仅恢复了3.8%。与经典强化学习基线相比，该方法在样本需求上减少了至少9.6倍，达到了相似的性能。

🎯 应用场景

该研究的潜在应用领域包括机器人控制、自动化软件测试和人机交互等。通过提高代理学习的样本效率，可以显著降低训练成本，加速智能系统的开发与部署，具有重要的实际价值和未来影响。

📄 摘要（原文）

Real-world agent learning is often constrained by costly environment interactions, such as running time-consuming experiments or obtaining human feedback. In-context learning offers a highly sample-efficient way for agents to learn from their own interaction histories, but its gains disappear once that experience is removed from the context. Separately, context distillation provides a mechanism for internalizing contextual information into model weights. However, applying it to agents' interaction histories without sacrificing environment sample efficiency remains underexplored. We term this problem Experience Distillation and develop an implementation that requires no further environment interaction beyond the collected experience. Experiments on 749 curated software-engineering tasks and six text-adventure games show that it retains at least 64.8\% of the gains from in-context learning across both domains, whereas direct supervised fine-tuning on the collected experience recovers only 3.8\%. Compared with classical reinforcement-learning baselines, in-context learning from trial-and-error experience followed by Experience Distillation matches their performance with at least (9.6\times) fewer environment samples.