PDMD: Projected Distribution Matching Distillation for Video Diffusion Models

📄 arXiv: 2609.35768v1 📥 PDF

作者: Zimo Wang, Junkun Yuan, Angtian Wang, Haotian Yang, Canyu Zhang, Siyuan Yuan, Xingchang Huang, Bo Liu, Yizhi Wang, Yiding Yang, Chongyang Ma, Gordon Guocheng Qian

分类: cs.CV, cs.LG

发布日期: 2026-09-28

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出PDMD以解决视频扩散模型中的批评者错误问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱八：物理动画 (Physics-based Animation)

关键词: 视频扩散模型 分布匹配蒸馏 批评者错误 样本质量提升 多模态生成 训练稳定性 高效去噪 深度学习

📋 核心要点

  1. 现有的分布匹配蒸馏方法在训练过程中会受到批评者错误的影响，导致样本质量下降。
  2. 本文提出的PDMD通过投影批评者错误，确保更新过程中的稳定性，从而提升样本质量。
  3. 实验结果显示，PDMD在多个视频生成任务中均超越了传统DMD方法，提升幅度显著。

📝 摘要（中文）

现代视频扩散模型在长时空序列上需要进行大量去噪评估。分布匹配蒸馏（DMD）方法虽然能显著减少函数评估次数，但在训练过程中样本质量可能下降，出现过饱和和伪影。本文提出了投影分布匹配蒸馏（PDMD），通过过滤批评者错误来稳定训练过程。PDMD在高维假设下证明了其投影能够去除批评者错误的常量部分，同时仅丢弃微不足道的理想DMD信号。实验表明，PDMD在样本质量和训练稳定性上均优于DMD，并在多个指标上取得了显著提升。

🔬 方法详解

问题定义：现代视频扩散模型需要进行大量的去噪评估，导致计算开销大且效率低下。现有的DMD方法在训练过程中会出现批评者错误的累积，影响样本质量。

核心思路：PDMD通过投影批评者错误的分量，确保更新过程中的稳定性，从而减少训练过程中的不稳定性和样本质量下降。

技术框架：PDMD的整体架构包括批评者网络和学生网络，主要流程为在固定噪声查询下进行批评者错误的投影，过滤掉不必要的错误分量。

关键创新：PDMD的核心创新在于其投影机制，能够有效去除批评者错误的常量部分，同时保留理想DMD信号，显著提高了样本质量和训练稳定性。

关键设计：PDMD仅需对DMD进行一行代码的修改，无需额外的损失函数、网络结构或多阶段训练，简化了实现过程。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在Wan2.1模型上，PDMD在4次函数评估下取得了83.73的VBench总分，比传统DMD提升了1.03分。在MiniMax-H3联合视频音频生成任务中，PDMD的视觉总分为83.17，超出最强蒸馏基线0.41分，并在所有音频指标上表现最佳，显示出其在多模态生成中的优势。

🎯 应用场景

该研究在视频生成、图像合成和多模态学习等领域具有广泛的应用潜力。通过提升视频扩散模型的效率和样本质量，PDMD能够推动相关技术在影视制作、虚拟现实和游戏开发等行业的实际应用，提升用户体验和内容创作的质量。

📄 摘要（原文）

Modern video diffusion models require tens of denoising evaluations over long spatiotemporal token sequences. Distribution Matching Distillation (DMD) reduces the number of function evaluations (NFE) to just a few. However, DMD samples can degrade during training, exhibiting progressive oversaturation and artifacts. We trace this instability to critic errors, which enter successive student updates and accumulate over time. We introduce Projected Distribution Matching Distillation (PDMD) to filter critic errors. PDMD projects out the component of the DMD update parallel to the student-critic endpoint residual. At a fixed noisy query, we prove that this residual is an unbiased estimate of the critic's endpoint error. Under high-dimensional assumptions, this projection removes a constant fraction of critic error while discarding only a vanishing fraction of ideal DMD signal. Empirically, the projection stabilizes training and improves sample quality where DMD degrades and develops unnatural textures. PDMD requires only a one-line code change to DMD, with no extra loss, network, data, model pass, or multi-stage training. With Wan2.1, PDMD achieves a VBench total score of 83.73 at 4 NFE, surpassing matched DMD by 1.03 points. On MiniMax-H3 joint video-audio generation, PDMD achieves a VideoGen-Eval visual total score of 83.17, 0.41 points above the strongest distilled baseline. PDMD also achieves the best performance on all six audio metrics among the compared 4-NFE models. Qualitative comparisons and user studies favor PDMD over the distilled baselines in visual quality, motion, and audio quality. Code and models are available at https://pdmd2026.github.io/.