DMAD: Distribution Matching as Adversarial Distillation for Fast Visual Generation

📄 arXiv: 2610.02188v1 📥 PDF

作者: Zhengming Yu, Junkun Yuan, Haotian Yang, Gordon Guocheng Qian, Yizhi Wang, Angtian Wang, Yiding Yang, Bo Liu, Xin Li, Wenping Wang, Chongyang Ma

分类: cs.CV, cs.AI

发布日期: 2026-10-01

备注: 28 pages, 15 figures. Project page: https://yzmblog.github.io/projects/DMAD

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出DMAD以解决快速视觉生成中的分布匹配问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 分布匹配 对抗蒸馏 快速视觉生成 图像合成 多模态生成

📋 核心要点

  1. 现有的分布匹配蒸馏方法需要额外的内存和计算成本来保持辅助模型，限制了其应用效率。
  2. DMAD通过将分布匹配转化为分类问题，直接学习对数密度比，从而消除了对辅助模型的依赖。
  3. 实验结果显示，DMAD在多个数据集上取得了优异的性能，尤其是在快速生成任务中表现突出。

📝 摘要（中文）

分布匹配蒸馏（DMD）通过分别估计目标和学生模型的得分差异来训练少步学生模型，但需要额外的内存和计算成本来保持辅助扩散模型。本文提出DMAD（分布匹配作为对抗蒸馏），将分布匹配重构为分类问题，直接学习所需的对数密度比。通过共享主干的两个判别头区分真实数据和教师样本，线性损失在其logits上训练学生，无需辅助得分拟合。我们证明在判别器最优时，这些损失恢复了DMD的分布匹配梯度。DMAD在ImageNet-64x64上实现了1.04的Fréchet Inception Distance（FID），在COCO-10K上实现了14.47，展示了其在少步方法和多步教师中的最佳性能。

🔬 方法详解

问题定义：本文旨在解决现有分布匹配蒸馏方法在训练少步学生模型时的高内存和计算成本问题，现有方法依赖于辅助扩散模型，导致效率低下。

核心思路：DMAD通过将分布匹配重构为分类问题，直接学习所需的对数密度比，避免了对辅助模型的依赖，从而提高了训练效率。

技术框架：DMAD的整体架构包括一个共享主干网络，两个判别头分别用于区分真实数据和教师样本。通过在判别器的logits上施加线性损失，训练学生模型。

关键创新：DMAD的主要创新在于通过对抗蒸馏的方式实现分布匹配，利用判别器的最优状态恢复DMD的梯度，从而实现高效的训练。

关键设计：在设计中，采用了gap-based重加权策略，根据真实数据和教师样本的logit差距调整教师监督，增强了模型对不同噪声水平的适应性。具体损失函数和网络结构设计也经过精心调整，以优化训练效果。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

DMAD在多个数据集上取得了显著的实验结果：在ImageNet-64x64上实现了1.04的FID，在COCO-10K上达到了14.47的FID，且在MiniMax-H3-33B上，四步学生模型的整体人类偏好率达到79.1%，超越了DMD2和rCM，展示了其在少步生成任务中的优势。

🎯 应用场景

DMAD的研究成果在快速视觉生成、图像合成和多模态生成等领域具有广泛的应用潜力。其高效的训练方式和优异的生成性能为实际应用提供了新的可能性，尤其是在需要实时生成的场景中，能够显著提升用户体验。

📄 摘要（原文）

Distribution Matching Distillation (DMD) trains a few-step student from the difference between separately estimated target and student scores, so it must keep an auxiliary diffusion model fitted to the student's evolving distribution at extra memory and computation cost. We introduce DMAD, Distribution Matching as Adversarial Distillation, which recasts distribution matching as classification and learns the required log-density ratios directly. Two discriminator heads on a shared backbone distinguish real data and teacher samples from the student's, and linear losses on their logits train the student without auxiliary score fitting. We prove that at the discriminator optimum these losses recover the distribution-matching gradient underlying DMD, through the classical identity linking discriminator logits to log-density ratios. We further introduce gap-based reweighting, which adapts teacher supervision across noise levels from the real-data head's empirical logit gap between real and teacher samples. DMAD reaches a Fréchet Inception Distance (FID) of 1.04 with one-step generation on ImageNet-64x64, 14.47 with four-step SDXL on COCO-10K, and a VBench total score of 85.15 with four-step Wan2.1-T2V-14B, the best values among the compared few-step methods and the multi-step teachers. On MiniMax-H3-33B, our four-step student achieves overall human preference rates of 79.1% over DMD2 and 84.6% over rCM for joint audio-video generation, excluding ties. Our code, models and demos are available at https://yzmblog.github.io/projects/DMAD.