SAPD: Step-Aligned Privileged Distillation
作者: Tianle Wang, Jiayu Liu, Ruizhi Zhao, Ning Miao
分类: cs.CL
发布日期: 2026-10-07
备注: preprint
🔗 代码/项目: GITHUB
💡 一句话要点
提出SAPD方法以解决大语言模型的高成本后训练问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 步骤对齐 特权蒸馏 无滚动训练 离线学习 自蒸馏 语言模型 数学推理 训练效率
📋 核心要点
- 现有的政策后训练方法在生成轨迹时成本高昂，限制了其应用。
- SAPD通过将演示转化为步骤对齐的分布监督，提供了更有效的离线学习方式。
- 在数学推理基准上，SAPD的性能优于传统的监督微调，且训练速度提升显著。
📝 摘要（中文）
在政策后训练中，通过学习自身轨迹来提升大型语言模型的性能，但生成轨迹的成本高昂。本文探讨固定演示是否能通过更好的监督支持竞争性的离线学习。我们提出了步骤对齐特权蒸馏（SAPD），一种无滚动的自蒸馏方法，将演示转化为步骤对齐的分布监督。SAPD在数学推理基准上表现优于监督微调和标签平滑，同时与政策强化学习和自蒸馏保持竞争力。分析表明，基于上下文的分布指导和特权信息与当前步骤的对齐具有重要价值。SAPD还在保持跨域编码性能的同时，实现了约2倍的训练循环加速，表明精心构建的监督可以使完全离线的后训练成为一种竞争且计算高效的替代方案。
🔬 方法详解
问题定义：本文旨在解决大型语言模型在政策后训练中生成轨迹的高成本问题。现有方法依赖于昂贵的轨迹生成，限制了其应用和效率。
核心思路：SAPD的核心思想是利用已知参考解决方案的进展，将每个推理转变与特权指导相结合，而不是将解决方案视为无差别的上下文。这种方法使得监督信息更具针对性和有效性。
技术框架：SAPD的整体架构包括三个主要模块：首先是从固定演示中提取信息，其次是将这些信息转化为步骤对齐的分布监督，最后是通过自蒸馏过程进行模型训练。
关键创新：SAPD的关键创新在于其步骤对齐的特权蒸馏机制，这一机制与传统的无差别上下文处理方法有本质区别，能够提供更具针对性的学习信号。
关键设计：在技术细节上，SAPD采用了特定的损失函数来优化步骤对齐的监督信号，并在网络结构上进行了调整，以确保模型能够有效利用特权信息。
🖼️ 关键图片
📊 实验亮点
实验结果显示，SAPD在数学推理基准上平均性能优于监督微调和标签平滑，同时与政策强化学习和自蒸馏方法保持竞争力。此外，SAPD实现了约2倍的训练循环加速，显著提升了训练效率。
🎯 应用场景
该研究的潜在应用领域包括自然语言处理、智能问答系统和自动推理等。通过提高后训练的效率，SAPD能够帮助开发更强大的语言模型，推动人工智能在各个领域的应用和发展，尤其是在需要快速迭代和高效学习的场景中。
📄 摘要（原文）
On-policy post-training can improve large language models by learning from their own trajectories, but requires costly rollout generation. We ask whether fixed demonstrations can support competitive off-policy learning through better supervision. Our premise is that their usefulness depends not only on the training trajectories, but also on whether supervision provides informative preferences among continuations and connects this guidance to the reasoning decision being learned. We introduce Step-Aligned Privileged Distillation (SAPD), a rollout-free self-distillation method that turns demonstrations into step-aligned distributional supervision. Its key insight is to use the known progression of a reference solution to associate each reasoning transition with targeted privileged guidance, rather than treating the solution as undifferentiated context. On mathematical reasoning benchmarks, SAPD outperforms supervised fine-tuning and label smoothing on average while remaining competitive with on-policy reinforcement learning and self-distillation. Analyses support both the value of context-dependent distributional guidance and the benefit of aligning privileged information with the current step. SAPD also largely preserves out-of-domain coding performance and achieves approximately 2x training-loop speedups over the on-policy baselines. These findings suggest that carefully constructed supervision can make fully off-policy post-training a competitive and computationally efficient alternative. Our code is available at https://github.com/Miaow-Lab/SAPD.