Uncertainty-Aware Consistency Distillation for Few-Step Video Generation

📄 arXiv: 2609.39132v1 📥 PDF

作者: Lingyu Liu, Yaxiong Wang, Li Zhu, Zhedong Zheng

分类: cs.CV, cs.MM

发布日期: 2026-09-30

💡 一句话要点

提出不确定性感知一致性蒸馏以解决少步视频生成问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱八：物理动画 (Physics-based Animation)

关键词: 少步视频生成 一致性蒸馏 不确定性感知 生成模型 计算机视觉

📋 核心要点

  1. 现有的多步视频生成方法在生成速度和计算资源上存在显著的延迟和消耗，难以满足实时应用需求。
  2. 论文提出的不确定性感知一致性蒸馏（UACD）通过重加权一致性监督，针对不同区域的学习难度进行调整，从而提高生成质量。
  3. 在VBench 2.0上，采用50步Wan模型的LoRA适应，UACD在4步生成任务中达到了0.556的平均得分，超越了其他竞争方法。

📝 摘要（中文）

本研究探讨了少步视频生成，即将需要数十个采样步骤的多步视频生成器蒸馏为少步学生模型。现有的一致性蒸馏方法中，教师模型提供的目标并不总是可靠，尤其是在内容快速变化的区域。我们观察到，监督的可靠性与内容的局部难度相关，而非语义复杂性。基于此，我们提出了不确定性感知一致性蒸馏（UACD），通过局部无参数的不确定性估计对一致性监督进行重加权，从而提高学习效果。我们的实验表明，UACD在VBench 2.0上实现了最先进的4步生成效果。

🔬 方法详解

问题定义：本论文旨在解决少步视频生成中的一致性蒸馏问题，现有方法在处理快速变化内容时，教师模型提供的目标不够可靠，导致学生模型学习困难。

核心思路：论文提出的不确定性感知一致性蒸馏（UACD）通过对不同空间时间区域的不确定性进行估计，调整一致性监督的权重，从而使学生模型在学习时能够更有效地聚焦于易于学习的区域。

技术框架：UACD的整体架构包括两个独立扰动的教师引导一致性路径，学生模型的最终预测与这些路径的共识目标进行比较，以此计算不确定性代理，并据此调整一致性损失。

关键创新：UACD的核心创新在于引入了局部无参数的不确定性估计，能够动态调整不同区域的一致性损失，显著提升了学生模型的学习效果，尤其是在内容变化剧烈的区域。

关键设计：在损失函数设计上，UACD对高不确定性区域放宽一致性惩罚，采用指数权重进行调整，同时在其他区域保持完整惩罚。此外，结合特征空间对抗训练与语义对齐，进一步提升了生成视频的感知质量。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在VBench 2.0上，UACD方法实现了0.556的平均得分，成为4步视频生成任务中的最先进方法。此外，用户研究表明，UACD在生成质量上优于其他竞争方法，显示出其在实际应用中的优势。

🎯 应用场景

该研究的潜在应用领域包括实时视频生成、虚拟现实、游戏开发等场景，能够显著提升生成效率和质量，满足对快速响应和高质量内容的需求。未来，该方法可能推动更多基于视频生成的应用和技术进步。

📄 摘要（原文）

We study few-step video generation, i.e., distilling a multi-step video generator, which typically requires tens of sampling steps, incurring substantial latency and compute, into a few-step student. Consistency distillation is a common recipe, in which a multi-step teacher provides the consistency targets for a few-step student. However, these teacher-guided targets are not equally trustworthy, and the content is harder to learn where it varies rapidly over time, e.g., moving foliage shadows or flowing water. We observe that supervision reliability follows the local difficulty of the content rather than semantic complexity: regions that change little yield consistent endpoint predictions, whereas regions with large temporal variation produce larger discrepancies that coincide with the largest perceptual errors. Motivated by this observation, we propose Uncertainty-Aware Consistency Distillation (UACD), which reweights consistency supervision at each spatiotemporal region using a local, parameter-free uncertainty estimate. Specifically, we construct two independently perturbed teacher-guided consistency paths, whose student endpoint predictions provide a consensus target; the discrepancy between the student's direct prediction and this target is the uncertainty proxy. We then relax the consistency penalty on high-uncertainty regions through an exponential weight, while keeping the full penalty elsewhere, since the student cannot be expected to match targets that are hard to learn. To preserve perceptual quality under aggressive step reduction, we integrate feature-space adversarial training with semantic alignment. With parameter-efficient LoRA adaptation of the 50-step Wan model, our method achieves state-of-the-art 4-step generation on VBench 2.0 (0.556 mean score) and is preferred over competing methods in a user study.