Learning from Interaction Experience via Localized Context Distillation
作者: Zhezheng Hao, Yongkang Yang, Xilin Xia, Jiarui Yu, Yi Liu, Fanjunduo Wei, Peijie Dong, Tianfu Wang, Qiang Lin, Can Wang, Hande Dong, Jiawei Chen
分类: cs.AI
发布日期: 2026-10-15
💡 一句话要点
提出局部上下文蒸馏以解决交互经验学习中的偏差问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 局部上下文蒸馏 交互经验学习 暴露偏差 模型训练 自然语言处理 代码生成 智能代理
📋 核心要点
- 现有的上下文蒸馏方法存在暴露偏差和信息不足的问题，影响学生模型的学习效果。
- 提出局部上下文蒸馏（LoCD），通过定位学生轨迹中的关键区间，教师仅重生成这些区间以进行训练。
- 实验结果显示，LoCD在多个任务上表现优异，训练稳定性更高，参数更新更为高效。
📝 摘要（中文）
交互经验学习对于大型语言模型在部署期间的持续改进至关重要。上下文蒸馏提供了一条有前景的路径：从经验中提取的特权信息被提供给教师，教师的行为随后被蒸馏到没有访问这些信息的学生模型中。然而，现有的上下文蒸馏形式存在局限性。离策略上下文蒸馏在教师生成的轨迹上训练学生，因此受到暴露偏差的影响；而在策略上下文蒸馏则在学生自己的回合上训练，状态往往缺乏信息，无法传达学生尚未产生的行为。为了解决这一困境，本文提出了局部上下文蒸馏（LoCD）。LoCD首先定位需要修正的学生轨迹的关键区间，教师仅从学生的前缀重新生成这些区间，学生在重新生成的片段上进行训练。LoCD因此集中学习最具信息性的状态，同时保持低暴露偏差。大量实验表明，LoCD在数学推理、代码生成和代理任务上始终优于强基线，并实现了更稳定的训练和更小、更稀疏的参数更新。
🔬 方法详解
问题定义：本文旨在解决交互经验学习中的暴露偏差和信息不足的问题。现有的上下文蒸馏方法在训练学生模型时，往往依赖于教师生成的轨迹或学生自身的回合，导致学习效果受限。
核心思路：论文提出的局部上下文蒸馏（LoCD）方法，通过定位学生轨迹中的关键区间，教师仅重生成这些区间进行训练，从而集中学习最具信息性的状态，降低暴露偏差。
技术框架：LoCD的整体架构包括三个主要模块：首先是学生轨迹的关键区间定位，其次是教师对这些区间的重生成，最后是学生在重生成片段上的训练。
关键创新：LoCD的核心创新在于其通过定位和重生成关键区间，解决了传统上下文蒸馏方法中的暴露偏差问题。这一方法与现有的离策略和在策略上下文蒸馏方法本质上不同，前者依赖于教师生成的轨迹，后者则依赖于学生自身的回合。
关键设计：在LoCD中，关键参数设置包括定位算法的选择和重生成策略的设计。损失函数采用了针对重生成片段的特定设计，以确保学生模型能够有效学习教师的行为。
🖼️ 关键图片
📊 实验亮点
实验结果表明，LoCD在数学推理、代码生成和代理任务上均显著优于强基线，训练稳定性更高，参数更新更小且更稀疏，具体性能提升幅度达到XX%（具体数据需查阅原文）。
🎯 应用场景
该研究的潜在应用领域包括自然语言处理、代码生成和智能代理等。通过提高大型语言模型在交互学习中的表现，LoCD可以在实际应用中实现更高效的模型训练和更优质的用户体验，具有重要的实际价值和未来影响。
📄 摘要（原文）
Learning from interaction experience is essential for enabling large language models to continually improve during deployment. Context distillation offers a promising path: privileged information extracted from experience is provided to a teacher, whose behavior is then distilled into a student model that has no access to it. However, both existing forms of context distillation have limitations. Off-policy context distillation trains the student on teacher-generated trajectories and thus suffers from exposure bias; whereas on-policy context distillation trains on the student's own rollouts, whose states are often uninformative and fail to convey behaviors the student cannot yet produce. To resolve this dilemma, we introduce Localized Context Distillation (LoCD). LoCD first localizes the critical spans of a student trajectory that require revision. The teacher then regenerates only these spans from the student's own prefix, and the student is trained on the regenerated segments. LoCD thereby concentrates learning on the most informative states while keeping exposure bias low. Extensive experiments across math reasoning, code generation, and agent tasks demonstrate that LoCD consistently outperforms strong baselines and achieves more stable training with smaller and sparser parameter updates.