Beyond On-Policy vs. Off-Policy: At What Level Should LLM Agent Distillation Follow the Student?
作者: Ya Gao, Zhengtao Zou, Pekka Marttinen
分类: cs.AI
发布日期: 2026-10-22
备注: Under review
💡 一句话要点
提出层次化蒸馏框架以优化LLM代理训练
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 层次化蒸馏 大型语言模型 自蒸馏 交互式代理 训练优化 机器学习 人工智能
📋 核心要点
- 现有的蒸馏方法在选择教师和学生生成数据时缺乏灵活性，导致训练效果不理想。
- 本文提出了一种层次化蒸馏框架，允许在不同层面上控制教师和学生的配对与训练策略。
- 实验结果表明，教师生成的动作前缀与学生生成的历史配对效果最佳，而完全在线数据在混合时表现出优势。
📝 摘要（中文）
蒸馏交互式大型语言模型（LLM）代理时，需要在教师生成的演示和学生生成的经验之间进行选择，分别对应于离线和在线蒸馏。本文提出了一种层次化代理蒸馏框架，形式化了这两种在线性水平，并允许对其配对、混合比例和训练计划进行显式控制。通过自蒸馏的研究，发现学生生成的历史与教师生成的动作前缀配对通常提供最强的训练信号，而在两个层面上都跟随学生的表现最差。尽管如此，完全的在线数据在与其他配置混合时变得有益。最后，前置完全教师生成的上下文并延迟完全在线上下文的策略优于静态混合。这些发现为代理蒸馏的决策提供了实用原则。
🔬 方法详解
问题定义：本文旨在解决在蒸馏交互式LLM代理时，教师生成的演示与学生生成的经验之间选择的局限性。现有方法未能有效利用两者的优势，导致训练信号不足。
核心思路：提出一种层次化的蒸馏框架，允许在不同层面上对教师和学生的生成数据进行灵活配对，从而优化训练效果。通过这种设计，可以更好地利用教师的知识和学生的经验。
技术框架：该框架包括三个主要阶段：首先，定义教师和学生的生成策略；其次，设计混合比例和训练计划；最后，进行自蒸馏实验以验证不同配置的效果。
关键创新：最重要的创新在于引入了层次化的蒸馏机制，使得教师和学生的生成策略可以在不同层面上独立控制，从而超越传统的在线与离线蒸馏的二元划分。
关键设计：在实验中，设置了不同的混合比例和训练计划，使用了特定的损失函数来平衡教师与学生的信号，同时采用了多种模型和交互环境进行验证。
🖼️ 关键图片
📊 实验亮点
实验结果显示，学生生成的历史与教师生成的动作前缀配对时，训练信号最强，性能提升显著。与基线相比，采用混合配置的模型在多个环境中表现出更好的适应性和效果，尤其是在动态交互场景中。
🎯 应用场景
该研究的潜在应用领域包括智能对话系统、自动化客服和游戏AI等。通过优化LLM代理的训练过程，可以显著提升其交互能力和响应质量，进而推动相关领域的技术进步和应用落地。
📄 摘要（原文）
Distilling interactive LLM agents requires choosing between teacher-generated demonstrations and student-generated experience, corresponding broadly to off-policy and on-policy distillation. While both have proven effective, we argue that this distinction is inherently hierarchical: the policy that induces an interaction history need not be the same as the policy that generates the token prefix of the current action. We introduce a hierarchical agent distillation framework that formalizes these two levels of on-policiness and enables explicit control over their pairing, mixture proportions, and training schedule. We study this problem through self-distillation, where a frozen teacher has access to task guidance unavailable to the student, and conduct a three-stage controlled study across three models and four interactive environments. We find that student-induced histories paired with teacher-generated action prefixes generally provide the strongest standalone training signal, whereas following the student at both levels generally performs worst. Nevertheless, fully on-policy data becomes beneficial when incorporated into a mixture with other configurations. Moreover, mixtures with identical teacher/student proportions at each level can yield substantially different performance, showing that how the two levels are paired matters beyond the overall amount of on-policy data. Finally, front-loading fully teacher-generated contexts and delaying fully on-policy contexts improves over a static mixture. These findings provide practical principles for deciding where, how much, and when agent distillation should follow the student.