OPSRD: On-Policy Self-Role Distillation

📄 arXiv: 2609.39884v1 📥 PDF

作者: Weijie Ren, Yanwen Zhang, Hao Li, Zhuolin Qi, Hengyi Zhang, Naibo Wang

分类: cs.CL, cs.AI, cs.LG

发布日期: 2026-09-30

备注: 17 pages, 5 figures. Code: https://github.com/zhansan114514/OPSRD

🔗 代码/项目: GITHUB

💡 一句话要点

提出OPSRD以解决角色提示下的自我蒸馏问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 自我蒸馏 角色提示 前向KL散度 自然语言处理 数学问题求解

📋 核心要点

  1. 现有方法在角色提示下的答案评估中，可能忽略有用的下一个标记偏好，导致学习效果不佳。
  2. OPSRD通过固定专家角色作为教学上下文，利用在线自我蒸馏来克服缺乏参考解的问题。
  3. 在三个数学基准测试中，OPSRD在推理时显著提高了模型的准确性，尤其在使用前向KL散度时表现最佳。

📝 摘要（中文）

角色提示通过专家身份引导大型语言模型在复杂任务中表现出专业行为。然而，评估或蒸馏完整的角色提示答案可能会错过有用的下一个标记偏好。OPSRD引入了一种固定的专家角色作为特权教学上下文，进行无参考解的在线自我蒸馏。无角色的学生生成轨迹，而同一基础模型的冻结实例提供基于角色的分布，揭示超出采样延续的替代方案。实验表明，在三个数学基准测试中，OPSRD在推理时优于无角色提示的基础模型。

🔬 方法详解

问题定义：论文旨在解决在角色提示下，评估和蒸馏答案时可能遗漏的下一个标记偏好问题。现有方法在生成答案时，可能未能充分利用学生模型的潜在预测能力。

核心思路：OPSRD的核心思路是使用固定的专家角色作为教学上下文，进行在线自我蒸馏，而无需参考解。通过这种方式，模型能够在生成过程中获取更多的替代方案，从而提高学习效果。

技术框架：整体架构包括两个主要模块：一个无角色的学生模型生成轨迹，另一个冻结的基础模型提供角色条件分布。学生模型的学习集中在预测不确定性最高的部分，以提高学习效率。

关键创新：OPSRD的最大创新在于引入了教师加权的前向KL散度，专注于学生模型低估的替代方案，并通过剪切限制单个词汇的贡献。这种设计使得模型能够更有效地学习复杂任务。

关键设计：在损失函数设计上，OPSRD采用了前向KL散度，并对学生模型的最高熵位置进行监督，确保学习集中在不确定性较高的预测上。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

在三个数学基准测试中，OPSRD在推理时显著超越了无角色提示的基础模型，尤其在使用前向KL散度时，达到了最高的宏平均准确率，显示出在不同模型规模下的稳定性和有效性。

🎯 应用场景

该研究的潜在应用领域包括复杂的自然语言处理任务，如数学问题求解、对话系统和文本生成等。通过提高模型在这些任务中的表现，OPSRD有望在教育、智能助手等领域产生实际价值，推动人工智能技术的进一步发展。

📄 摘要（原文）

Role prompting elicits specialized behavior from large language models through an expert identity, offering a lightweight way to guide reasoning on demanding tasks. However, evaluating or distilling complete role-prompted answers can miss useful next-token preferences when the sampled solution remains incorrect. Transferring these preferences also requires an objective that reaches alternatives the student rarely predicts. We introduce OPSRD, which uses a fixed expert role as privileged teaching context for on-policy self-distillation without reference solutions. A role-free student generates a trajectory, and a frozen instance of the same base model supplies role-conditioned distributions on its exact prefixes, exposing alternatives beyond the sampled continuation. Teacher-weighted forward KL targets alternatives the student underestimates, with clipping to limit individual vocabulary contributions. Supervision is restricted to the highest-entropy half of student positions, concentrating learning where predictions are uncertain. Experiments on three competition-math benchmarks with Qwen3-1.7B, 4B, and 8B show improvements over the base models without role prompts at inference. Forward KL achieves the highest macro-averaged accuracy among the three evaluated divergences at every scale. Code is available at https://github.com/zhansan114514/OPSRD.