Environmental Feedback Modeling Matters: Rethinking Feedback Treatment in Agentic Hindsight Self-Distillation
作者: Hangxi Guo, Fengyuan Liu, Yue Wang, Yuhua Qi, Haoyi Xiong, Fei Sun, Mengnan Du
分类: cs.AI
发布日期: 2026-10-08
💡 一句话要点
提出SELF框架以优化环境反馈建模在自蒸馏中的应用
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 环境反馈建模 自蒸馏 强化学习 策略学习 智能代理
📋 核心要点
- 现有的自蒸馏方法在处理缺乏奖励的环境时效果不佳，未能充分利用环境反馈信息。
- 提出的SELF框架通过联合优化环境反馈建模与自蒸馏，增强了模型对环境响应的理解与学习能力。
- 实验结果表明，SELF在多个基准任务中超越了SDPO和GRPO，成功率和目标完成率均有显著提升。
📝 摘要（中文）
强化学习通常用于训练交互环境中的语言代理，但在缺乏奖励时无法直接应用。近期方法利用环境反馈作为自蒸馏的特权上下文，但我们的分析表明，仅仅将教师模型与反馈条件化是不够的。因此，我们提出了环境反馈建模的代理自蒸馏框架（SELF），该框架联合优化环境反馈建模和自蒸馏。SELF不仅学习预测环境响应，还从反馈条件的自教师中提炼指导。我们的分析揭示了一个相互增强的机制：环境反馈建模增强了自蒸馏的监督和策略学习，而自蒸馏提升了模型对环境反馈的建模能力。实验结果显示，SELF在多个任务中显著优于现有方法，提升了代理的能力。
🔬 方法详解
问题定义：论文旨在解决在缺乏奖励的情况下，如何有效利用环境反馈进行代理自蒸馏的问题。现有方法仅通过条件化教师模型于反馈，未能充分挖掘环境反馈的潜力。
核心思路：提出的SELF框架通过同时优化环境反馈建模和自蒸馏，利用环境反馈中的丰富监督信息来提升策略学习和模型能力。这样的设计使得模型能够更好地理解环境对代理行为的响应。
技术框架：SELF框架包含两个主要模块：环境反馈建模模块和自蒸馏模块。前者负责预测环境的响应，后者则从反馈条件的自教师中提炼指导信息。两者通过相互作用共同优化。
关键创新：最重要的创新在于引入了环境反馈建模作为自蒸馏的核心组成部分，形成了一个相互增强的学习机制，显著区别于传统的自蒸馏方法。
关键设计：在模型设计中，SELF采用了特定的损失函数来平衡反馈建模与策略学习的目标，同时在网络结构上进行了优化，以提高模型的学习效率和效果。具体的参数设置和网络结构细节在实验部分进行了详细描述。
🖼️ 关键图片
📊 实验亮点
实验结果显示，SELF在Qwen3-8B模型上，相较于SDPO和GRPO，成功率提升了6.4和4.1个百分点，AppWorld任务的目标完成率提升了10.71和3.57个百分点，证明了其在自蒸馏中的有效性。
🎯 应用场景
该研究的潜在应用领域包括智能对话系统、自动化决策支持和游戏AI等。通过更有效地利用环境反馈，SELF框架能够提升代理在复杂环境中的表现，具有广泛的实际价值和影响力。
📄 摘要（原文）
Reinforcement learning is commonly used to train language agents in interactive environments, but cannot be directly applied when rewards are unavailable. Recent methods use environmental feedback as privileged context for hindsight self-distillation, but our analysis suggests that simply conditioning the teacher on feedback is insufficient, motivating us to rethink how environmental feedback is used in agentic self-distillation. Given that environmental feedback contains rich supervision for modeling how the environment responds to agent actions, we introduce \textit{agentic SElf-distilLation with environmental Feedback modeling} (SELF), a framework that jointly optimizes environmental feedback modeling and hindsight self-distillation. SELF learns to predict environmental responses while distilling guidance from a feedback-conditioned self-teacher into the policy. Our analysis reveals a mutually reinforcing mechanism: environmental feedback modeling strengthens hindsight supervision and policy learning, while self-distillation enhances the model's ability to model environmental feedback. With Qwen3-8B, SELF outperforms SDPO and GRPO by 6.4 and 4.1 percentage points in $τ$-bench success rate, and by 10.71 and 3.57 percentage points in AppWorld task goal completion, respectively. These results show that SELF uses environmental feedback more effectively within agentic self-distillation, improving agent capabilities.