ReSAIL: Mitigating Collapse in Iterative Agent Self-Distillation

📄 arXiv: 2609.39306v1 📥 PDF

作者: Shengjie Jin, Hengbo Xu, Zelong Sun, YuJie Guo, Zhiwu Lu

分类: cs.LG, cs.AI

发布日期: 2026-09-30

💡 一句话要点

提出ReSAIL以解决迭代代理自蒸馏中的性能崩溃问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 迭代自蒸馏 特权信息 性能崩溃 智能代理 模型学习 行为正则化 信息选择 深度学习

📋 核心要点

  1. 现有的迭代自蒸馏方法在多个周期中表现出性能崩溃，导致任务表现下降。
  2. 本文提出ReSAIL，通过选择特权信息显著改变教师预测的交互步骤来进行蒸馏，保持行为一致性。
  3. 在ALFWorld和TextCraft上，ReSAIL在三个周期中实现了22.5%的成功率提升，验证了其有效性。

📝 摘要（中文）

迭代自蒸馏使大型语言模型代理能够通过连续部署进行学习，然而现有方法在多个周期中表现出性能崩溃。本文提出了一种新的方法ReSAIL，通过优先选择信息丰富的交互步骤进行蒸馏，并在学生成为下一个教师时保持特权信息条件下的行为。ReSAIL在ALFWorld和TextCraft上显示出显著的性能提升，最终周期成功率平均提高22.5%。这些发现首次证明了更稳健的学习机制能够有效缓解迭代代理自蒸馏中的性能崩溃。

🔬 方法详解

问题定义：本文旨在解决迭代代理自蒸馏过程中出现的性能崩溃问题。现有方法在多个周期的部署中，任务表现和特权信息条件下的表现均出现下降，影响了模型的自我改进能力。

核心思路：ReSAIL的核心思想是优先选择那些特权信息显著影响教师预测的交互步骤进行蒸馏，同时在学生成为下一个教师时，保持特权信息条件下的行为一致性，以避免性能崩溃。

技术框架：ReSAIL的整体架构包括信息选择模块和行为正则化模块。信息选择模块负责识别和选择重要的交互步骤，而行为正则化模块则确保学生的输出分布与冻结教师的输出分布一致。

关键创新：ReSAIL的主要创新在于其选择性增强机制，通过选择特权信息影响最大的交互步骤，平衡蒸馏损失，从而有效提高了模型的学习效率和稳定性。与现有方法相比，ReSAIL在保持学习效果的同时，显著降低了性能崩溃的风险。

关键设计：在ReSAIL中，关键参数包括交互步骤的选择标准和损失函数的设计。损失函数不仅考虑蒸馏损失，还引入了正则化项，以确保学生的输出分布与教师的输出分布在选定和未选定步骤上保持一致。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

在ALFWorld和TextCraft的实验中，ReSAIL在三个周期内实现了22.5%的成功率提升，显著优于自蒸馏基线。这一结果表明，ReSAIL在提升模型性能和稳定性方面具有重要的实际价值。

🎯 应用场景

ReSAIL的研究成果具有广泛的应用潜力，尤其在需要持续学习和自我改进的智能代理系统中，如自动驾驶、机器人控制和智能助手等领域。通过提高模型在迭代学习过程中的稳定性和效率，ReSAIL能够推动这些领域的技术进步和应用落地。

📄 摘要（原文）

Iterative self-distillation enables LLM agents to learn from successive deployments, offering a path toward recursive self-improvement (RSI). Yet our experiments with existing methods reveal a collapse in deployment performance across cycles, while task performance with privileged information (PI) also declines. We address this collapse by prioritizing informative interaction steps for distillation and preserving PI-conditioned behavior as the student becomes the next teacher. We introduce Retentive and Selective Augmentation for Iterative Self-Distillation (ReSAIL), a plug-in augmentation for iterative PI-based self-distillation. ReSAIL selects interaction steps where PI most strongly changes the teacher's predictions and balances the resulting distillation losses across trajectories. It also regularizes the student's PI-conditioned output distributions toward those of the frozen teacher at selected and unselected steps to preserve PI-conditioned behavior for supervision in the next cycle. On ALFWorld and TextCraft, ReSAIL sustains substantial gains across model scales over three cycles, with an average absolute gain of 22.5% in final-cycle success rates when added to self-distillation baselines. Sensitivity-guided selection of offline data also improves action prediction accuracy for multimodal GUI agents on AITZ. These findings provide the first evidence that a more robust learning mechanism can effectively mitigate performance collapse in iterative agent self-distillation over deployment trajectories.