Persistent Teacher Anchoring for Tool-Using Agents
作者: Hyun Bin Park, Kyungho Song, Sangmin Lee, Du-Seong Chang
分类: cs.LG, cs.AI, cs.CL
发布日期: 2026-09-04
备注: 16 pages, 4 figures, 8 tables. Accepted at EMNLP 2026 (Main Conference)
💡 一句话要点
提出持久教师锚定方法以解决工具使用代理的知识蒸馏问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 知识蒸馏 工具使用 强化学习 自然语言生成 教师-学生模型 生成验证 持久前瞻 性能提升
📋 核心要点
- 现有的在线策略知识蒸馏方法在工具使用场景中存在教师与学生分布差距累积的问题，影响生成质量。
- 本文提出持久教师锚定（PTA），通过教师验证整个生成轮次后再执行调用，减少了教师与学生之间的分布差距。
- 实验结果显示，PTA在下游强化学习中显著提升了性能，宏观最佳@4提高了2.5和2.8个百分点，且吞吐量提升了24%。
📝 摘要（中文）
蒸馏在大规模语言模型的后期训练中非常常见，其中在线策略知识蒸馏（OPKD）利用学生生成的轨迹为学生准备下游强化学习。在每个状态下，学生匹配教师提供的下一个标记分布。随着轨迹进入教师不会访问的状态，教师与学生之间的分布差距可能会累积。在工具使用中，这种差距变得尤为重要，因为学生生成的调用在监督之前执行，其观察结果会影响后续的生成。为了解决这一问题，本文提出了持久教师锚定（PTA），一种由学生引导但由教师承诺的轨迹构建方法。PTA保留了块级验证，并增加了轮次级承诺，确保调用在教师验证整个轮次后才会到达环境。通过将验证块视为原子生成单元，本文引入了持久前瞻，提升了生成效率。实验结果表明，在下游强化学习之前应用PTA，宏观最佳@4的表现比OPKD提高了2.5和2.8个百分点，同时前瞻性提高了24%的吞吐量。
🔬 方法详解
问题定义：本文旨在解决在工具使用场景中，教师与学生之间的知识蒸馏分布差距累积的问题。现有的在线策略知识蒸馏方法未能有效处理工具执行的时序问题，导致生成质量下降。
核心思路：提出持久教师锚定（PTA），通过教师在生成过程中对学生的提议进行验证，确保只有经过验证的调用才能执行，从而减少分布差距的影响。
技术框架：PTA的整体架构包括学生生成的轨迹、教师的验证机制和持久前瞻模块。学生生成的文本在每个轮次结束后由教师进行验证，确保生成的每个调用都是经过确认的。
关键创新：PTA的主要创新在于引入了轮次级承诺和持久前瞻机制，使得生成过程中的每个调用都经过教师的验证，从而提高了生成的准确性和效率。
关键设计：PTA设计中，块级验证确保了生成的原子性，而持久前瞻则通过提前生成未来样本来填补空闲的轨迹容量，优化了生成过程的效率。
🖼️ 关键图片
📊 实验亮点
实验结果表明，应用PTA方法后，在Search-R1风格的检索和DeepEyes风格的感知强化学习中，宏观最佳@4的表现分别提高了2.5和2.8个百分点，同时前瞻性机制提升了24%的吞吐量，显示出显著的性能提升。
🎯 应用场景
该研究的潜在应用领域包括自然语言处理中的对话系统、自动文本生成和智能助手等。通过改进工具使用代理的生成质量，PTA方法能够提升用户交互体验，具有重要的实际价值和广泛的应用前景。
📄 摘要（原文）
Distillation is common in LLM post-training, where on-policy knowledge distillation (OPKD) uses student-generated trajectories to prepare the student for downstream RL. At each state, the student matches a next-token distribution supplied by the teacher. As the rollout enters states the teacher would not visit, the teacher-student distribution gap can accumulate. In tool use, this gap becomes consequential because student-written calls execute before supervision and their observations shape later prefixes. Proposer-verifier generation addresses this drift by letting the teacher decide which student-proposed text is retained during generation. Existing formulations govern text but leave tool execution outside their scope. We propose Persistent Teacher Anchoring (PTA), a student-induced but teacher-committed rollout construction. PTA retains chunk-level verification and adds turn-level commitment, allowing a call to reach the environment only after the teacher has verified the entire turn. Treating verified chunks as atomic generation units, we introduce persistent lookahead, which fills idle rollout capacity by advancing future samples and carrying unfinished ones across student updates under the fixed verifier. Across Search-R1-style retrieval and DeepEyes-style perception RL, applying PTA before downstream RL improves macro best@4 by 2.5 and 2.8 points over OPKD under the same downstream RL budget, while lookahead improves throughput by 24%.