TeachBack: Learning to Teach via Bidirectional Preference Optimization for On-Policy Self-Distillation

📄 arXiv: 2610.29167v1 📥 PDF

作者: Linfei Ji, Jiayun Li, Haozhao Wang, Siyu Jiang, Zehao Wang, Longtao Xiao, Yu-Jie Yuan, Ruixuan Li

分类: cs.AI, cs.CL, cs.LG

发布日期: 2026-10-21

备注: 21 pages, 6 figures, including appendices

💡 一句话要点

提出TeachBack框架以优化在政策自蒸馏中的教师学习方式

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 自蒸馏 教师学习 偏好优化 智能教育 问题求解 深度学习 语言模型

📋 核心要点

  1. 现有的OPSD方法虽然能生成准确的轨迹，但往往缺乏适合学生学习的探索性和自我纠错能力。
  2. TeachBack通过双向偏好学习框架，优化教师的生成行为，使其在教学过程中更具探索性，减少对特权信息的依赖。
  3. 实验结果显示，TeachBack在数学和逻辑推理任务上，学生的表现显著优于现有的OPSD方法和相关基线。

📝 摘要（中文）

在政策自蒸馏（OPSD）中，教师模型通过获取特权信息来指导学生模型学习。然而，仅仅依赖准确性并不足以确保教师生成的轨迹适合学生学习。为此，本文提出了TeachBack，一个双向偏好学习框架，不仅让学生从教师学习，还优化教师的教学方式。通过控制参考推理后缀的长度和变化提示风格，TeachBack鼓励教师探索和重新解决问题，减少对参考解决方案的依赖。实验结果表明，TeachBack在数学和逻辑推理任务中显著提升了学生的表现。

🔬 方法详解

问题定义：本文旨在解决现有OPSD方法中教师生成轨迹的准确性与学生学习适应性之间的矛盾。现有方法往往导致学生依赖于特权信息，缺乏必要的探索和自我纠错能力。

核心思路：TeachBack通过双向偏好学习框架，既让学生从教师学习，又优化教师的教学方式。通过控制生成的参考推理后缀长度和提示风格，鼓励教师在生成过程中进行探索和重新解决问题。

技术框架：TeachBack的整体架构包括教师轨迹生成和学生轨迹生成两个模块。在每次回合刷新时，共享策略生成特权教师轨迹和仅问题的学生轨迹。通过成对偏好目标，利用教师轨迹提升学生学习，同时反向偏好利用学生行为优化教师监督。

关键创新：TeachBack的核心创新在于双向偏好学习框架，区别于传统方法仅关注教师生成的准确性，而是同时考虑教师如何更有效地进行教学。

关键设计：在设计中，关键参数包括参考推理后缀的长度和提示风格的变化，损失函数则结合了成对偏好目标，确保教师和学生的学习过程相辅相成。整体网络结构则基于现有的语言模型进行优化。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在数学和逻辑推理任务中，TeachBack显著提升了学生的表现，相较于现有OPSD方法，学生的准确率提高了XX%（具体数据待补充），并且在多个基线测试中均表现出色，验证了其有效性和优越性。

🎯 应用场景

TeachBack框架在教育领域具有广泛的应用潜力，尤其是在智能辅导系统和自适应学习平台中。通过优化教师模型的生成行为，可以提升学生的学习效果，促进更深入的理解和问题解决能力。未来，该方法还可以扩展到其他领域，如自动化问题求解和智能问答系统。

📄 摘要（原文）

On-policy self-distillation (OPSD) enables a language model to learn from a Teacher instantiated from the same model but given access to privileged information, such as a reference solution. We find that access to sufficient privileged information allows the Teacher to generate highly accurate trajectories; however, accuracy alone does not guarantee that these trajectories are suitable for Student learning. Direct access to a complete solution may encourage shortened, reference-conditioned derivations that omit the exploration, verification, and self-correction required to solve problems without privileged information. We introduce TeachBack, a bidirectional preference-learning framework for on-policy self-distillation that learns not only from the Teacher but also how the Teacher should teach. TeachBack shapes the Teacher's generation behavior by controlling the length of the reference-reasoning suffix injected into the prompt and by varying the prompt style. While maintaining comparable Teacher accuracy, it encourages the Teacher to explore and re-solve problems, thereby reducing its reliance on the reference solution. At each rollout refresh, the shared policy generates both a privileged Teacher trajectory and a problem-only Student trajectory. A pairwise preference objective uses privileged Teacher trajectories to improve Student learning, while the reversed preference uses the Student's behavior to shape future Teacher supervision under the privileged condition. Experiments on mathematical and logical reasoning tasks show that TeachBack consistently improves Student performance over existing OPSD methods and related baselines.