VASPO: Self-Distillation with Privileged Value Estimation

📄 arXiv: 2610.20516v1 📥 PDF

作者: Fei Wu, Zhenrong Zhang, Jianshu Zhang, Jun Du

分类: cs.CL, cs.AI, cs.LG

发布日期: 2026-10-14

🔗 代码/项目: GITHUB

💡 一句话要点

提出VASPO以提升自我蒸馏中的价值估计精度

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 自我蒸馏 价值估计 策略优化 深度学习 数学推理 PPO算法 特权信息 模型训练

📋 核心要点

  1. 现有的自我蒸馏方法在价值估计上存在局限，无法有效反映学生模型的全局性能。
  2. 本研究提出VASPO，通过结合自教师和评论者的优势评估，优化价值预测的准确性。
  3. 实验结果表明，VASPO在多个基准测试中显著提高了模型的准确率，尤其在复杂推理任务中表现优异。

📝 摘要（中文）

在政策自我蒸馏中，通过特权自教师提供密集监督。然而，这种监督反映的是局部标记偏好，而非无指导学生延续的预期回报。近期方法结合了GRPO，但本研究展示了在PPO中更有效的整合方式。我们识别出互补的位置信息动态：特权信息增强了评论者在响应结束时的价值预测准确性，而自教师指导在初期强，生成中期下降，最后又反弹。这些见解促成了价值增强自我蒸馏策略优化（VASPO），其中自教师和评论者在学生生成的前缀上评估相同的特权信息。评论者从预测的延续回报中计算标记级PPO优势，自教师通过有界概率比调节所选的正优势。在六个数学推理基准上，VASPO在Qwen3-4B和OLMo3-7B变体上分别提高了2.59和1.81个百分点的平均准确率，并在骑士与骗子任务中实现了最高的平均准确率。

🔬 方法详解

问题定义：本论文旨在解决现有自我蒸馏方法在价值估计上的不足，特别是如何有效利用特权信息来提升学生模型的性能。现有方法往往只关注局部标记偏好，未能充分利用全局信息。

核心思路：VASPO的核心思想是通过自教师和评论者共同评估相同的特权信息，从而实现更精确的价值预测。具体而言，评论者计算基于预测延续回报的标记级PPO优势，而自教师则通过有界概率比调节这些优势。

技术框架：VASPO的整体架构包括自教师和评论者两个主要模块。自教师负责提供初步的指导信号，而评论者则在生成的前缀上进行价值评估。整个过程通过PPO算法进行优化，确保模型在训练过程中不断提升。

关键创新：VASPO的主要创新在于识别并利用了特权信息的互补动态，特别是在生成的不同阶段对价值预测的影响。这种方法与现有的GRPO结合方式有本质区别，提供了更为有效的整合策略。

关键设计：在关键设计上，VASPO采用了有界概率比来调节自教师的优势信号，并在损失函数中引入了标记级的PPO优势计算。这些设计确保了模型在训练过程中的稳定性和准确性。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

实验结果显示，VASPO在Qwen3-4B和OLMo3-7B变体上分别提高了2.59和1.81个百分点的平均准确率。此外，在骑士与骗子任务中，VASPO实现了所有评估方法中最高的平均准确率，展现了其在复杂推理任务中的卓越性能。

🎯 应用场景

VASPO的研究成果在多个领域具有广泛的应用潜力，特别是在需要高精度推理的任务中，如自然语言处理、自动驾驶和智能问答系统。通过提升模型的价值估计能力，VASPO能够帮助构建更智能的决策系统，推动人工智能技术的进步。

📄 摘要（原文）

On-policy self-distillation provides dense supervision for reasoning models via a privileged self-teacher. However, this supervision reflects local token preferences rather than the expected return of an unguided student continuation. Recent methods combine this signal with GRPO. They use GRPO for update directions and the teacher for signal scaling. However, we demonstrate a more effective integration within PPO. Specifically, we identify complementary positional dynamics: privileged information enhances a critic's value-prediction accuracy toward the response's end, whereas self-teacher guidance is strong initially, drops mid-generation, and rebounds finally. These insights motivate Value-Augmented Self-Distillation Policy Optimization (VASPO), wherein a self-teacher and critic evaluate identical privileged information at student-generated prefixes. The critic computes token-level PPO advantages from predicted continuation returns, while the self-teacher modulates selected positive advantages via bounded probability ratios. Across six mathematical reasoning benchmarks, VASPO improves mean accuracy over PPO by 2.59 and 1.81 percentage points on Qwen3-4B and OLMo3-7B variants, respectively, and achieves the highest mean accuracy among evaluated methods on Knights and Knaves. Our code is available at https://github.com/cii030/VASPO.