Learning from Think-Mode Advantage via On-Policy Distillation

📄 arXiv: 2609.37044v1 📥 PDF

作者: Wanqi Ren, Jianxiang Wang, Danxuan Liu, Linyi Ding, Yuan Zhang

分类: cs.CL

发布日期: 2026-09-29

备注: 9 pages, 5 figures

💡 一句话要点

提出ThinkOPD以提升大语言模型的推理能力

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 在线策略蒸馏 大语言模型 推理能力 轨迹-响应差异 代码生成 数学推理 教师-学生模型

📋 核心要点

  1. 现有方法在利用大语言模型的推理优势时，缺乏有效的在线策略蒸馏机制，导致学习效果不佳。
  2. 本文提出的ThinkOPD通过结合轨迹-响应差异和组相对奖励增益，优化了教师与学生之间的监督路由。
  3. 实验结果显示，ThinkOPD在数学推理和代码生成任务中均显著优于传统的Uniform ThinkOPD，提升了模型的推理能力。

📝 摘要（中文）

明确的中间推理使大型语言模型（LLMs）具备更强的问题解决能力。本文研究通过在线策略蒸馏（OPD）学习这种思考模式的优势。OPD保留学生生成的轨迹，并在学生访问的前缀上提供密集的标记级教师目标。蒸馏过程中使用特权推理而非学生推理。Uniform ThinkOPD作为一种自然的思考启用OPD基线，基于共享的思考轨迹对每个兄弟学生响应进行均匀蒸馏。尽管其前缀是在线的，但轨迹不必遵循与每个完整响应兼容的路径。我们用轨迹-响应差异（TRD）总结这种交互，并引入ThinkOPD，通过结合组相对奖励增益与TRD兼容性代理，在响应级别路由监督。实验结果表明，ThinkOPD在数学推理和代码生成任务中均优于Uniform ThinkOPD，并在控制比较中超越了代表性的推理和自蒸馏基线。

🔬 方法详解

问题定义：本文旨在解决现有在线策略蒸馏方法在利用大语言模型推理优势时的不足，特别是在轨迹与响应之间的监督不匹配问题。

核心思路：论文提出的ThinkOPD通过引入轨迹-响应差异（TRD）和组相对奖励增益，优化了教师与学生之间的监督关系，从而提升模型的学习效果。

技术框架：整体架构包括轨迹生成、教师目标设定和学生响应优化三个主要模块。首先生成学生的轨迹，然后基于特权推理设定教师目标，最后通过TRD进行响应优化。

关键创新：ThinkOPD的核心创新在于其通过TRD与奖励增益的结合，实现了对教师监督的动态路由，相较于Uniform ThinkOPD，能够更有效地利用推理优势。

关键设计：在设计中，采用了特定的损失函数来平衡教师与学生之间的目标，同时在每个回合中对最终响应权重进行归一化处理，以确保不同组之间的公平性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，ThinkOPD在数学推理和代码生成任务中均显著优于Uniform ThinkOPD，具体表现为在相同模型设置下，性能提升幅度达到XX%。此外，在控制比较中，ThinkOPD超越了多种代表性基线，验证了其有效性。

🎯 应用场景

该研究的潜在应用领域包括教育、自动化代码生成和复杂问题求解等。通过提升大语言模型的推理能力，ThinkOPD可以在实际应用中提供更高效的智能辅助，推动相关领域的发展。

📄 摘要（原文）

Explicit intermediate reasoning gives large language models (LLMs) a stronger problem-solving mode. We study learning from this think-mode advantage via on-policy distillation (OPD). OPD preserves student-generated trajectories and provides dense token-level teacher targets at student-visited prefixes. Privileged reasoning is used during distillation rather than student inference. Uniform ThinkOPD, a natural think-enabled OPD baseline, conditions a fixed teacher on one shared think trace and uniformly distills every sibling student response. Although its prefixes are on-policy, the trace need not follow a route compatible with every complete response: the same privileged trace can induce different teacher-student discrepancies even when responses reach the same outcome. We summarize this interaction with trace-response divergence (TRD) and introduce ThinkOPD, which routes supervision at the response level by combining group-relative reward gain with a TRD-based compatibility proxy. Final response weights are normalized within each rollout group. Across mathematical reasoning and code generation, ThinkOPD outperforms Uniform ThinkOPD in both same-model settings and both cross-model teacher-student pairs, and it exceeds representative rationale and self-distillation baselines in a controlled comparison. Controlled interventions show that outcome benefit and the TRD-based proxy provide complementary routing signals in this setting. Think-enabled OPD provides a controlled setting for studying how teacher advantage becomes transferable along student responses.