Can We Trust the Teacher? Decoupled Credit Direction-Magnitude for Self-Distillation

📄 arXiv: 2609.34848v1 📥 PDF

作者: Yugu Li, Zehong Cao, Peizhen Li, Yang Zhang, Siyi Hu, Jianglin Qiao

分类: cs.AI

发布日期: 2026-09-28

💡 一句话要点

提出解耦信用方向与幅度的自蒸馏方法以提升策略优化

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 自蒸馏 信用分配 策略优化 强化学习 多模态推理 数学推理 教师监督

📋 核心要点

  1. 现有方法在教师监督下更新信用方向和幅度时存在耦合问题，导致信用信号不可靠。
  2. 本文提出的解耦信用自蒸馏（DCSD）方法，通过分离信用方向与幅度，提升了策略优化的准确性。
  3. 实验结果显示，DCSD在多个基准测试中表现优异，整体得分显著提升，且有效纠正了信用方向。

📝 摘要（中文）

RLVR提供可靠的轨迹级信用，而OPSD则为令牌级信用提供密集监督。这暴露了在教师监督下更新步骤级信用方向和幅度时的基本耦合问题，导致步骤无法获得可靠的信用方向和贡献幅度，同时使两者都易受教师判断错误和偏好变化的影响。为了解耦信用方向与贡献幅度，本文提出了解耦信用自蒸馏（DCSD），理论上将信用方向和幅度分离为两个可靠信号，并利用它们来校准特权教师监督。通过信念边际探测确定信用方向，边际信息增益量化信用幅度，实现策略优化中的步骤到令牌信用分配。在11个基准测试中，DCSD在GRPO、OPSD、RLSD和RLCSD中取得了最佳整体得分。与基础模型相比，DCSD在数学推理上提高了8.45分，在多模态推理上提高了7.01分，同时纠正了6%的令牌信用方向，并实现了1.5倍的令牌信用幅度减少。

🔬 方法详解

问题定义：本文旨在解决在教师监督下更新步骤级信用方向和幅度时的耦合问题。现有方法使得信用信号易受教师判断错误和偏好变化的影响，导致优化效果不佳。

核心思路：论文提出的解耦信用自蒸馏（DCSD）方法，通过将信用方向与贡献幅度分离，提供了两个可靠的信号用于校准教师监督，从而提高了策略优化的准确性和稳定性。

技术框架：DCSD的整体架构包括信念边际探测模块用于确定信用方向，以及边际信息增益模块用于量化信用幅度。这两个模块共同实现了步骤到令牌的信用分配。

关键创新：DCSD的核心创新在于理论上解耦了信用方向和幅度，使得每个信号都能独立可靠地反映策略的贡献。这一方法与现有的耦合方法本质上不同，能够有效减少教师偏差的影响。

关键设计：在设计中，信念边际探测用于捕捉信用方向，而边际信息增益则通过特定的损失函数来量化信用幅度。此外，模型的网络结构经过优化，以确保信号的准确传递和处理。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，DCSD在11个基准测试中表现优异，整体得分相比于GRPO、OPSD、RLSD和RLCSD有显著提升。其中，在数学推理任务中提高了8.45分，在多模态推理任务中提高了7.01分，同时纠正了6%的令牌信用方向，并实现了1.5倍的令牌信用幅度减少。

🎯 应用场景

该研究的潜在应用领域包括强化学习、自动驾驶、机器人控制等需要高效策略优化的场景。通过提升策略的准确性和稳定性，DCSD能够在复杂环境中实现更优的决策，具有重要的实际价值和未来影响。

📄 摘要（原文）

RLVR provides reliable trajectory-level credit, while OPSD offers dense supervision for token-level credit. This exposes a fundamental coupling when updating step-level credit direction and magnitude with teacher supervision, preventing steps from receiving reliable credit directions and contribution magnitudes, while making both vulnerable to teacher judgment errors and preference variance, as supported by our theoretical analysis. To separate credit direction from its contribution magnitude, we introduce \textit{Decoupled Credit Self-Distillation (DCSD)}, which theoretically decouples credit direction and magnitude into two reliable signals and uses them to calibrate privileged teacher supervision. Specifically, we design belief-margin probing to determine credit direction and marginal information gain to quantify credit magnitude, enabling step-to-token credit assignment for policy optimization. Across 11 benchmarks, DCSD achieves the best overall scores against GRPO, OPSD, RLSD, and RLCSD. Compared with base models, DCSD improves the overall score by 8.45 points on mathematical reasoning and 7.01 points on multimodal reasoning, while correcting the credit direction for 6\% of tokens and yielding a 1.5$\times$ reduction in token credit magnitude.