SAPD: Learning from Agent Experience without Environment Interaction

📄 arXiv: 2610.27847v1 📥 PDF

作者: Juncheng Diao, Haibin Wang, Wei Shi, Yifan Ding, Qingbin Li, Rongxiang Weng, Xunliang Cai

分类: cs.AI, cs.LG

发布日期: 2026-10-20

💡 一句话要点

提出SAPD以解决无环境交互的经验学习问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 离线学习 策略蒸馏 强化学习 灾难性遗忘 多轮对话 智能代理

📋 核心要点

  1. 现有方法在利用离线轨迹优化策略时面临灾难性遗忘和实时交互的挑战。
  2. SAPD通过将多轮轨迹分解为单个决策上下文，利用相对步骤优势信号进行策略蒸馏。
  3. 实验表明，SAPD在多个任务上提升了性能，并显著提高了训练效率。

📝 摘要（中文）

大规模训练大型语言模型（LLM）代理通常需要大量可执行环境的集合，而这些环境的构建、维护和操作限制了训练经验的扩展。现有的离线轨迹为重用交互经验提供了机会，但在不重新访问这些环境的情况下有效地优化当前策略仍然具有挑战性。为此，本文提出了步骤优势策略蒸馏（SAPD）方法，通过相对步骤优势信号来稳定训练，允许学生基于记录的历史生成响应。实验结果表明，SAPD在不同教师配置下提高了性能，并且相比于在线策略蒸馏，训练速度至少快4.7倍。

🔬 方法详解

问题定义：本文旨在解决在无环境交互的情况下，如何有效利用离线轨迹优化策略的问题。现有的监督微调方法容易导致灾难性遗忘，而在线强化学习又需要实时与环境交互，限制了其应用。

核心思路：SAPD的核心思路是通过相对步骤优势信号对多轮轨迹进行分解和蒸馏，使得学生模型能够在不依赖新环境观察的情况下，基于历史记录生成响应，从而避免灾难性遗忘。

技术框架：SAPD的整体架构包括轨迹分解、决策上下文生成和相对步骤优势信号引入三个主要模块。首先，将多轮轨迹分解为单个决策上下文，然后利用这些上下文进行策略蒸馏，最后通过相对步骤优势信号来稳定训练过程。

关键创新：SAPD的主要创新在于引入相对步骤优势信号，这一设计使得模型在学习过程中能够更好地利用历史信息，显著降低了灾难性遗忘的风险，与传统的监督微调方法形成鲜明对比。

关键设计：在关键设计上，SAPD采用了特定的损失函数来平衡蒸馏过程中的信息保留与新信息的引入，同时在网络结构上进行了优化，以适应多轮决策的需求。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果显示，SAPD在ALFWorld、WebShop和基于搜索的问答任务上均表现出色，相比于监督微调，显著降低了灾难性遗忘，并且每个训练步骤的速度至少提高了4.7倍，展现了其在效率和性能上的优势。

🎯 应用场景

该研究的潜在应用领域包括智能对话系统、自动问答系统和其他需要高效学习用户交互经验的智能代理。通过优化策略学习，SAPD能够提高这些系统的响应质量和效率，具有重要的实际价值和未来影响。

📄 摘要（原文）

Scaling the training of Large Language Model (LLM) agents typically requires a large collection of executable environments, whose construction, maintenance, and operation constrain the expansion of training experience. Existing offline trajectories offer an opportunity to reuse interaction experience, yet effectively refining the current policy without revisiting these environments remains challenging: supervised fine-tuning (SFT) can lead to catastrophic forgetting, while online reinforcement learning requires real-time interaction with the environment. To address this challenge, we propose Step-Advantage Policy Distillation (SAPD), a method for learning from offline trajectories using relative step advantages. SAPD decomposes multi-turn trajectories into individual decision contexts for on-policy distillation, allowing the student to generate responses conditioned on recorded histories, and introduces relative step advantage signals to stabilize training. The entire process requires neither new environment observations nor additional multi-turn interactions. Experiments on ALFWorld, WebShop, and Search-based QA show that SAPD improves performance across different teacher configurations, mitigates catastrophic forgetting compared with SFT, and runs at least $4.7\times$ faster per training step than online OPD. We will release our code soon.