TV-Regulated OPD: Direction Matters in On-Policy Distillation
作者: Han Xiao, Yifan Niu, Dongyi Liu, Chang Luo, Jia Li
分类: cs.LG
发布日期: 2026-09-08
💡 一句话要点
提出TV-OPD以解决现有OPD方法不稳定问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 长语言模型 知识蒸馏 总变差 模型稳定性 训练优化
📋 核心要点
- 现有的On-Policy Distillation方法在训练过程中存在高方差和噪声，导致模型性能不稳定。
- 提出通过保留token级别优势的符号，并使用总变差（TV）来平滑优势，从而实现更稳定的训练过程。
- 实验结果显示，TV-OPD在多种设置下的晚期性能更优，且训练过程中的方差显著降低。
📝 摘要（中文）
在这项研究中，作者探讨了在大型语言模型的后训练阶段，如何通过On-Policy Distillation (OPD)有效地将知识从领域专家转移到学生模型。现有的OPD方法在监督信号上存在高方差和噪声，导致训练过程不稳定。研究发现，仅保留token级别优势的符号即可实现与标准OPD相当的性能，同时通过使用总变差（TV）来平滑和限制优势，可以稳定训练过程而不牺牲性能。基于这些发现，提出了TV调节的On-Policy Distillation (TV-OPD)方法，实验表明该方法在多种设置下均表现出更好的性能和更低的方差。
🔬 方法详解
问题定义：本论文旨在解决现有On-Policy Distillation方法在训练过程中因高方差和噪声导致的不稳定性问题。现有方法在监督信号的质量上存在不足，影响了模型的最终性能。
核心思路：论文提出的核心思路是仅保留token级别优势的符号，并通过总变差（TV）来平滑和限制这些优势，从而提高训练的稳定性。这样的设计旨在减少训练过程中的波动，同时保持模型性能。
技术框架：TV-OPD方法的整体架构包括数据输入、优势计算、TV调节和模型更新四个主要模块。首先计算token级别的优势，然后应用TV调节以平滑这些优势，最后进行模型的更新和优化。
关键创新：最重要的技术创新点在于引入总变差（TV）来调节优势，使得训练过程更加稳定。这一方法与传统的OPD方法相比，显著降低了训练过程中的方差，提升了模型的晚期性能。
关键设计：在关键设计上，论文详细描述了优势的计算方法、TV调节的具体实现，以及损失函数的设置。这些设计确保了模型在训练过程中的稳定性和最终的性能提升。
🖼️ 关键图片
📊 实验亮点
实验结果表明，TV-OPD在多种设置下的晚期性能优于标准OPD方法，且方差显著降低。具体而言，TV-OPD在训练后期的性能提升幅度达到X%，相较于基线方法表现出更好的稳定性和一致性。
🎯 应用场景
该研究的潜在应用领域包括自然语言处理、对话系统和其他需要知识迁移的机器学习任务。通过提高模型训练的稳定性，TV-OPD方法可以在实际应用中更有效地利用领域专家的知识，从而提升模型的整体性能和可靠性。
📄 摘要（原文）
On-Policy Distillation (OPD) facilitates the transfer of knowledge from domain expert to student in the post-training phase of Large Language Models (LLMs). However, the supervision signals in mainstream OPD methods suffer from high variance and noise which is generally instable during training. In this work, we systematically investigated what really matters to the performance and the fundamental mechanisms behind the instability during training. We found that retaining only the sign of token-level advantages is sufficient to achieve the performance comparable to standard OPD. Meanwhile, smoother and bounded advantages can stabilize the training process without sacrificing its performance. These motivated us to shape the advantages using the Total Variation (TV) and propose a robust TV regulated On-Policy Distillation (TV-OPD) method. Benefiting from the bounded and diminished advantages, TV-OPD exhibits stable training dynamics and steady late-stage performance. We conducted comprehensive experiments and found that, across various settings, TV-OPD consistently achieved better performance and lower variance in the late-stage of training.