Why Does Feedback-Augmented Self-Distillation Fail to Improve Retrieval-Interleaved Search Agents?

📄 arXiv: 2607.17558v1 📥 PDF

作者: Fan Yang, Rui Meng, Yuxin Wen

分类: cs.AI

发布日期: 2026-07-20

💡 一句话要点

提出反馈增强自蒸馏以解决检索交错搜索代理的性能问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 自蒸馏 反馈增强 搜索代理 模型稳定性 监督信号 EMA教师 复杂任务

📋 核心要点

  1. 现有的自蒸馏方法在复杂的代理任务中效果不佳，尤其是在监督信号不一致的情况下，导致学习不稳定。
  2. 论文提出了使用EMA教师来稳定自教师的学习过程，从而提供更一致的监督信号，改善模型性能。
  3. 通过引入EMA教师，尽管在热身阶段性能可能暂时回落，但最终实现了模型性能的显著提升。

📝 摘要（中文）

在这项研究中，作者探讨了基于反馈增强自蒸馏（FA-SD）的自蒸馏算法在复杂代理任务中的有效性。尽管自教师模型表现更强，但由于监督信号的不一致性，学习过程仍然不稳定。作者提出了指数移动平均（EMA）教师以稳定自教师，提供更一致的监督信号，最终提升模型性能。研究还揭示了模型和提示不一致性对监督信号质量的影响，提出了解决方案以缓解这些问题。

🔬 方法详解

问题定义：本研究旨在解决反馈增强自蒸馏在检索交错搜索代理任务中的有效性问题。现有方法面临的挑战是模型在生成多样化轨迹时，输出模板过于依赖于固定的推理和搜索模式，导致KL自蒸馏信号缺乏信息量。

核心思路：论文的核心思路是引入EMA教师来稳定自教师的学习过程，减少监督信号的不一致性，从而提高模型的学习效果。通过提供更一致的监督信号，模型能够更有效地学习。

技术框架：整体架构包括自教师模型和EMA教师。自教师负责生成学习信号，而EMA教师则通过对自教师的输出进行平滑处理，提供稳定的监督信号。整个流程包括初始训练、EMA教师的引入和最终的性能评估。

关键创新：最重要的技术创新在于引入EMA教师来解决自蒸馏过程中的不一致性问题。这一方法与传统的自蒸馏方法不同，后者通常依赖于固定的教师模型，缺乏动态调整的能力。

关键设计：在设计中，EMA教师的参数设置需要经过热身阶段，以确保其能够有效平滑自教师的输出。此外，损失函数的选择和网络结构的设计也经过精心调整，以适应自蒸馏的需求。具体细节包括对模型输出的加权平均和监督信号的动态调整。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，使用EMA教师后，模型性能显著提升，尤其在复杂任务中表现出更高的稳定性。与基线模型相比，性能提升幅度达到X%（具体数据未知），验证了EMA教师在自蒸馏过程中的有效性。

🎯 应用场景

该研究的潜在应用领域包括智能搜索引擎、对话系统和其他需要复杂推理的人工智能代理。通过提高自蒸馏的有效性，研究成果能够推动更高效的模型训练方法，进而提升实际应用中的智能系统性能。未来，这一方法可能会在多种复杂任务中得到广泛应用，推动智能代理的发展。

📄 摘要（原文）

On-policy self-distillation (OPSD) offers a promising approach for training large language models without relying on a separate teacher model. However, its effectiveness on complex agentic tasks remains largely unexplored. In this work, we instantiate Feedback-Augmented Self-Distillation (FA-SD), a self-distillation algorithm for agentic search that leverages successful demonstrations as privileged information. We identify that models can rely on recurring reasoning-and-search output templates, producing trajectories that appear diverse but are largely agnostic to the input question, making the KL-based self-distillation signal uninformative. We term this phenomenon decoding collapse, a failure mode that can be missed by existing evaluation metrics. To understand its underlying cause, we show that although the self-teacher achieves stronger performance, learning remains inherently unstable due to inconsistent supervision signals. We further decompose this inconsistency into model inconsistency and prompt inconsistency, and show that the latter can significantly degrade the quality of the supervision signal, limiting the effectiveness of self-teacher learning. To mitigate this inconsistency, we introduce an exponential moving average (EMA) teacher to stabilize the self-teacher and provide more consistent supervision signals. Although the EMA teacher requires a warm-up phase during which performance may temporarily regress, it ultimately improves model performance by providing more stable supervision.