VDOT++: Unified Few-Step Video Generation via Unbalanced Optimal Transport Distillation
作者: Yutong Wang, Xingtong Ge, Enhuai Liu, Yunke Wang, Tianfan Xue, Yu Qiao, Yaohui Wang, Xinyuan Chen, Chang Xu
分类: cs.CV
发布日期: 2026-10-02
💡 一句话要点
提出VDOT++以解决视频生成中的高成本与不稳定性问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 视频生成 最优传输 蒸馏训练 多样性增强 计算效率 对抗性精炼 跨尺度蒸馏
📋 核心要点
- 现有视频生成方法在采样过程中需要多次评估大型模型，导致计算成本高且效率低下。
- VDOT++通过引入不平衡的最优传输蒸馏，增强了生成过程的稳定性与多样性，适应不同的生成任务。
- 在多个基准测试中，VDOT++的四步生成器在性能上与多步教师模型相当，显示出显著的效率提升。
📝 摘要（中文）
视频生成涵盖文本到视频、图像到视频及基于条件的生成，但视频扩散模型在采样时因需多次评估大型骨干网络而成本高昂。分布匹配蒸馏（DMD）虽然降低了这一成本，但其反向Kullback-Leibler（KL）目标在学生与教师分布重叠有限时可能导致不稳定或不完整的指导。VDOT通过引入最优传输蒸馏（OTD）解决了这一问题，提供了几何方向以增强基于条件的生成。VDOT++作为统一的蒸馏框架，采用不平衡的非对称形式，使得不可靠的学生标记承载更少的质量，同时保持教师标记的覆盖。实验结果表明，VDOT++在多个基准上表现出色，生成的四步生成器与多步教师和强的少步基线相竞争。
🔬 方法详解
问题定义：论文要解决的是视频生成过程中高昂的计算成本和生成结果的不稳定性。现有的分布匹配蒸馏方法在学生与教师分布重叠有限时，可能导致指导不充分。
核心思路：VDOT++提出了一种统一的蒸馏框架，通过不平衡的最优传输蒸馏（OTD）来增强生成的多样性和稳定性，使得不可靠的学生标记承载更少的质量，同时保持教师标记的覆盖。
技术框架：整体架构包括三个主要模块：生成器、蒸馏模块和对抗性精炼模块。生成器负责生成视频，蒸馏模块通过OTD进行分布匹配，对抗性精炼模块则进一步优化生成结果。
关键创新：VDOT++的核心创新在于采用不平衡的非对称OTD形式，允许不可靠的学生标记承载更少的质量，并引入$ ext{l}_1$地面成本替代均值聚合，使用加权中位数来保持模式。
关键设计：在设计中，采用了不平衡的质量分配策略，设置了适应不同生成任务的损失函数，并利用解耦的评分网络进行跨尺度蒸馏，以提高紧凑生成器的性能。
🖼️ 关键图片
📊 实验亮点
在UVCBench、VBench、VBench-I2V和VACE基准测试中，VDOT++的四步生成器在性能上与多步教师模型相当，且在多个任务上超越了强的少步基线，展示了显著的效率提升。
🎯 应用场景
该研究的潜在应用领域包括影视制作、游戏开发及虚拟现实等，能够显著降低视频生成的计算成本，提高生成效率。VDOT++的框架为多模态生成任务提供了新的思路，未来可能推动更广泛的应用与发展。
📄 摘要（原文）
Video creation spans text-to-video (T2V), image-to-video (I2V), and condition-based generation, yet video diffusion models remain costly because they repeatedly evaluate large backbones during sampling. Distribution matching distillation (DMD) reduces this cost, but its reverse Kullback--Leibler (KL) objective can provide unstable or incomplete guidance when the student and teacher distributions have limited overlap. VDOT addressed this issue by adding optimal transport distillation (OTD), whose explicit coupling supplies geometric directions for condition-based generation. Balanced OTD, however, performs full-mass matching between the spatial tokens of each corresponding student--teacher frame pair. This assumption weakens for T2V and I2V, where one condition admits many valid outputs and spatial content need not align across different realizations. We present VDOT++, a unified distillation framework that applies the same training recipe separately to generators for the three task families. It makes OTD robust to output diversity through an asymmetric unbalanced formulation that allows unreliable student tokens to carry less mass while maintaining coverage of the teacher tokens. An $\ell_1$ ground cost further replaces mean-based aggregation with a more mode-preserving weighted median that limits the influence of distant transport targets. The two changes respectively determine whom to match and how the selected targets should be aggregated. We additionally combine distribution matching and adversarial refinement through sequential backward passes, and exploit the decoupled score networks for cross-scale distillation, where larger score networks improve a compact generator. Experiments on UVCBench, VBench, VBench-I2V, and the VACE benchmark show that the resulting four-step generators are competitive with many-step teachers and strong few-step baselines across all three task families.