More Methods, Better Agents? A Reality Check on Self-Distillation in Agentic Reinforcement Learning
作者: Linhao Zhong, Bozhen Fang, Xuehao Wang, Duochao Shi, Zekai Luo, Guangming Yao, Yi Yuan, Hao Chen, Jingdong Chen, Chunhua Shen
分类: cs.CL, cs.LG
发布日期: 2026-10-14
🔗 代码/项目: PROJECT_PAGE
💡 一句话要点
提出自蒸馏方法评估基准以解决强化学习训练不稳定问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 自蒸馏 强化学习 训练稳定性 计算成本 性能评估 基准测试 智能体训练
📋 核心要点
- 现有自蒸馏方法的评估缺乏一致性，常常重用基线分数，导致结果不可靠。
- 本文通过比较十种方法，提出了一个统一的评估基准，关注训练稳定性和计算成本。
- 实验结果表明，虽然某些方法在最终表现上有所提升，但训练不稳定性和成本问题依然存在。
📝 摘要（中文）
自蒸馏在强化学习中的应用日益增多，但现有评估方法存在重用基线分数、缺乏直接比较和忽视训练稳定性等问题。为了解决这些问题，本文对十种代表性方法进行了比较，涵盖了多个实验环境和模型规模。研究结果显示，尽管某些方法在最终任务表现上有所提升，但训练过程的不稳定性和额外的训练成本并未必能带来更好的性能。本文建立了一个基准，以支持公平的比较并指导未来的研究。
🔬 方法详解
问题定义：本文旨在解决自蒸馏在强化学习中评估不一致性的问题。现有方法常常在不同实验条件下重用基线分数，导致对方法性能的理解模糊。
核心思路：通过对十种代表性自蒸馏方法进行系统比较，建立统一的评估基准，关注训练过程中的稳定性和计算成本，以便更好地理解各方法的优缺点。
技术框架：研究在ALFWorld、ScienceWorld、Search-QA和WebShop等环境中进行，涵盖三种模型规模。实验包括132次训练，总计12,124.4小时的GPU计算，采用八个种子进行重复评估。
关键创新：本文的主要创新在于建立了一个全面的评估基准，强调训练稳定性和计算成本，而不仅仅是最终性能。这一方法与现有研究的本质区别在于其系统性和全面性。
关键设计：在实验中，采用了多种训练配置和评估指标，关注训练进展、稳定性和计算成本，确保了评估的全面性和公正性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，尽管某些方法在最终任务表现上有所提升，但与GRPO的比较中，未有任何方法在所有设置下持续优于GRPO。此外，强大的最终性能可能掩盖训练过程中的不稳定性，额外的训练成本并未必能带来更好的性能。
🎯 应用场景
该研究的潜在应用领域包括智能体训练、游戏AI、机器人控制等。通过建立统一的评估基准，研究为未来的自蒸馏方法提供了可靠的比较基础，推动了强化学习领域的进步，具有重要的实际价值。
📄 摘要（原文）
Self-distillation in agentic reinforcement learning has produced a growing number of methods. However, existing evaluations often reuse published baseline scores under differing experimental conditions, provide few direct comparisons among contemporaneous methods, and give limited attention to training stability and computational cost. These limitations obscure the source of reported gains and the practical strengths and weaknesses of competing methods. Costly agent training further motivates a common basis for comparison. To address these gaps, we compare ten representative methods against GRPO on ALFWorld, ScienceWorld, Search-QA, and WebShop across three model sizes. Our study comprises 132 training runs totaling 12,124.4 recorded H800 GPU-hours, with repeated evaluations over eight rollout seeds for the pretrained backbones and all eleven trained methods. Beyond final task performance, we examine training progress, stability, and measured computational cost. Our evaluation yields three key findings. First, gains over GRPO remain limited in scope, with no method consistently outperforming it across settings. Second, strong final performance can mask unstable training. Third, additional training cost does not consistently translate into better performance. We establish this benchmark to support fair, comprehensive comparison and guide future research toward reliable and cost-effective improvements in agent training. Project page: https://aim-uofa.github.io/Self-Distillation-AgentRL/