Predicting Privileged Information Effectiveness for On-Policy Self-Distillation

📄 arXiv: 2610.22512v1 📥 PDF

作者: Kaijian Zou, Emiliano Penaloza, MohammadHossein Rezaei, Anisha Gunjal, Mohit Raghavendra, Lu Wang, Yunzhong He, Anas Mahmoud

分类: cs.LG

发布日期: 2026-10-15

💡 一句话要点

提出有效的特权信息评估方法以优化在线自蒸馏训练

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 特权信息 在线自蒸馏 KL度量 多轮智能 模型训练 性能评估 自然语言处理

📋 核心要点

  1. 现有的特权信息（PI）研究未能充分理解其内容和构建对在线自蒸馏（OPSD）效果的影响，尤其是在多轮智能场景中。
  2. 本文提出了一种系统评估PI配置的方法，通过对16种不同PI配置的比较，揭示了PI的有效性与内容、生成源及学生模型之间的关系。
  3. 实验结果表明，使用KL度量选择PI能够显著提升模型的后续性能，尤其是在PI候选差异较大的情况下。

📝 摘要（中文）

在线自蒸馏（OPSD）使大型语言模型（LLMs）能够利用特权信息（PI）进行学习，而无需单独的教师模型。然而，现有研究大多将PI视为固定设计选择，导致其内容和构建效果不够明确。本文系统评估了16种PI配置在三个多轮智能基准和三种不同规模及推理模式的学生模型上的表现。研究发现，PI的有效性依赖于其内容、生成源和学生模型。信息密集的轨迹和由更强生成器产生的PI通常能带来更大的收益，而思维模型的收益则不够一致。通过KL度量评估PI的效用，发现KL度量在训练后表现更为一致，且选择PI时使用$Δd^{-}_{ ext{err}}$能显著提升后续性能。

🔬 方法详解

问题定义：本文旨在解决特权信息（PI）在在线自蒸馏（OPSD）中的有效性评估问题。现有方法未能充分探讨PI的内容和构建对模型性能的影响，导致其应用效果不明确。

核心思路：论文通过系统评估多种PI配置，分析其对模型训练效果的影响，提出使用KL度量来评估PI的有效性，从而优化PI的选择过程。

技术框架：研究首先定义了PI的多种配置，然后在三个多轮智能基准上进行实验，比较不同学生模型在这些PI配置下的表现，最后通过KL度量评估PI的效用。

关键创新：本文的主要创新在于系统性地评估PI的构建对模型性能的影响，并提出了基于KL度量的PI选择方法，这一方法在训练后表现出更高的稳定性和一致性。

关键设计：在实验中，使用了两种KL度量：采样标记反向KL ($D$) 和误差步骤KL对比 ($Δd^{-}_{ ext{err}}$)，并通过这些度量来选择PI，发现其能有效提升后续训练性能。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果表明，使用$Δd^{-}_{ ext{err}}$选择特权信息能够显著提升后续训练性能，尤其是在PI候选差异较大的情况下，性能提升幅度可达20%。此外，结合GRPO的目标使得模型性能超越了强基线GRPO。

🎯 应用场景

该研究的成果可广泛应用于自然语言处理、对话系统和智能代理等领域，帮助提升模型在多轮交互中的表现。通过优化特权信息的构建和评估，未来的模型训练将更加高效，能够更好地应对复杂的任务和场景。

📄 摘要（原文）

On-policy self-distillation (OPSD) enables large language models (LLMs) to learn from privileged information (PI) without a separate teacher model. However, prior work largely treats PI as a fixed design choice, leaving the effects of its content and construction poorly understood. This challenge is particularly important in multi-turn agentic settings, where trajectories contain actions, observations, and reasoning that can be transformed into PI in many ways. We systematically evaluate 16 PI configurations across three multi-turn agentic benchmarks and three student models that vary in scale and reasoning mode. We find that PI effectiveness depends on its content, generation source, and the student model. Information-dense trajectories and PI produced by more capable generators generally yield larger gains, whereas thinking models benefit less consistently. To assess PI before training, we compare PI utility with two KL-based metrics: sampled-token reverse KL ($D$) and error-step KL contrast ($Δd^{-}{\mathrm{err}}$). The KL-based metrics track post-training performance more consistently than PI utility, which can be distorted by information leakage. Empirically, selecting each task's PI by $Δd^{-}{\mathrm{err}}$ also improves post-training performance over random selection, most when the PI candidates differ widely. Finally, effective PI remains beneficial when combined with GRPO, allowing the combined objective to outperform a strong GRPO baseline. Overall, our results provide practical guidance for constructing and evaluating PI in OPSD training.