SODA: Semi On-Policy Black-Box Distillation for Large Language Models

📄 arXiv: 2604.03873 📥 PDF

作者: Xiwen Chen, Jingjing Wang, Wenhui Zhu, Peijie Qiu, Xuanzhao Dong, Yueyue Deng, Hejian Sang, Zhipeng Wang, Alborz Geramifard, Feng Luo

分类: cs.LG, cs.CL

发布日期: 2026-07-20

💡 一句话要点

提出SODA以解决大语言模型蒸馏中的效率与稳定性问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 知识蒸馏 半在策略 对抗训练 模型对齐 计算效率 自然语言处理

📋 核心要点

  1. 现有的黑箱知识蒸馏方法在效率和稳定性之间存在显著的权衡，导致训练效果不佳。
  2. SODA通过将教师模型的最佳输出与学生模型的静态快照配对，构建有效的对比信号，从而实现高效的知识蒸馏。
  3. 实验结果表明，SODA在16个基准测试中有15个达到了或超过了现有最先进的方法，同时训练速度提高了10倍，GPU内存消耗减少了27%。

📝 摘要（中文）

黑箱知识蒸馏在大语言模型中面临严格的权衡。简单的离策略方法（如序列级知识蒸馏）难以纠正学生模型的固有错误，而完全的在策略方法（如生成对抗蒸馏）虽然通过对抗训练解决了这一问题，但引入了训练不稳定性和巨大的计算开销。为了解决这一困境，本文提出了SODA（半在策略蒸馏与对齐），这是一种高效的替代方案，利用了前沿教师模型与较小基础模型之间的能力差距。通过将教师模型的最佳响应与学生模型的静态输出快照进行配对，构建了有效的对比信号，从而实现高质量的分布对齐，消除了动态回滚和脆弱对抗平衡的需求。对四个紧凑的Qwen2.5和Llama-3模型的广泛评估验证了这一半在策略范式的有效性。

🔬 方法详解

问题定义：本文旨在解决大语言模型蒸馏中的效率与稳定性问题。现有方法如离策略蒸馏难以纠正学生模型的固有错误，而完全在策略的对抗训练又带来了训练不稳定性和高计算开销。

核心思路：SODA的核心思想是利用教师模型与学生模型之间的能力差距，通过将教师的最佳响应与学生的静态输出快照进行对比，构建有效的对比信号，从而实现高质量的分布对齐。

技术框架：SODA的整体架构包括教师模型和学生模型的交互，主要模块包括教师输出生成、学生静态快照捕获和对比信号构建。通过这种方式，避免了动态回滚和对抗训练的复杂性。

关键创新：SODA的主要创新在于其半在策略的蒸馏方法，通过静态快照与教师输出的对比，显著提高了蒸馏效率和稳定性，区别于传统的动态回滚和对抗训练方法。

关键设计：在关键设计上，SODA采用了特定的损失函数来优化对比信号的构建，并在网络结构上进行了调整，以适应教师与学生模型之间的对齐需求。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

在实验中，SODA在16个基准测试中有15个达到了或超过了现有最先进的方法，训练速度提高了10倍，GPU内存消耗减少了27%，并且完全消除了对抗训练带来的不稳定性，显示出其优越的蒸馏质量。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、对话系统和文本生成等。通过提高大语言模型的蒸馏效率和稳定性，SODA能够在资源有限的情况下，帮助开发更高效的AI应用，推动智能助手和自动化系统的进步。

📄 摘要（原文）

Black-box knowledge distillation for large language models presents a strict trade-off. Simple off-policy methods (e.g., sequence-level knowledge distillation) struggle to correct the student's inherent errors. Fully on-policy methods (e.g., Generative Adversarial Distillation) solve this via adversarial training but introduce well-known training instability and crippling computational overhead. To address this dilemma, we propose SODA (Semi On-policy Distillation with Alignment), a highly efficient alternative motivated by the inherent capability gap between frontier teachers and much smaller base models. Because a compact student model's natural, zero-shot responses are almost strictly inferior to the powerful teacher's targets, we can construct a highly effective contrastive signal simply by pairing the teacher's optimal response with a one-time static snapshot of the student's outputs. This demonstrates that exposing the small student to its own static inferior behaviors is sufficient for high-quality distribution alignment, eliminating the need for costly dynamic rollouts and fragile adversarial balancing. Extensive evaluations across four compact Qwen2.5 and Llama-3 models validate this semi on-policy paradigm. SODA matches or outperforms the state-of-the-art methods on 15 out of 16 benchmark results. More importantly, it achieves this superior distillation quality while training 10 times faster, consuming 27% less peak GPU memory, and completely eliminating adversarial instability.