Parametric Trajectory Distillation for Few-Step Video Generation

📄 arXiv: 2610.11498v1 📥 PDF

作者: Lan Feng, Peter Karkus, Maximilian Igl, Julius Berner, Yuxiao Chen, Shuhan Tan, Alexandre Alahi, Boris Ivanovic, Marco Pavone

分类: cs.CV

发布日期: 2026-10-08

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出参数化轨迹蒸馏以解决视频生成计算成本问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 视频生成 轨迹蒸馏 多项式参数化 计算效率 动态质量 自然性提升

📋 核心要点

  1. 现有视频生成方法计算成本高，尤其是在多步生成过程中，导致效率低下。
  2. 提出参数化轨迹蒸馏（PTD），通过多项式参数化教师轨迹，允许学生模型在自身路径上进行学习。
  3. 在多个数据集上，PTD显著提升了生成视频的动态质量和自然性，超越了现有最佳方法。

📝 摘要（中文）

视频扩散和流模型需要多次顺序评估，导致生成过程计算开销大。少步蒸馏虽然能降低成本，但面临容量分配问题：学生模型需在较少的顺序计算中匹配教师模型的迭代生成。现有轨迹方法要求学生重现教师在高噪声下的高度弯曲过渡，可能超出其能力并降低细节。本文提出参数化轨迹蒸馏（PTD），允许学生将教师轨迹段参数化为多项式，并沿自身预测路径学习教师指导。PTD旨在让学习的曲率适应骨干网络的预测能力，保持运动和多样性。在Wan2.1-14B数据集上，四步PTD在轨迹蒸馏中设定了新的最优状态，显著提升了动态质量和自然性。对比PDD，PTD在相同训练设置下表现更佳。

🔬 方法详解

问题定义：本文旨在解决视频生成中的计算成本高和生成质量低的问题。现有方法在高噪声下要求学生模型重现教师模型的复杂轨迹，容易导致细节损失。

核心思路：提出参数化轨迹蒸馏（PTD），通过将教师轨迹段表示为多项式，使学生模型能够在自身预测路径上进行学习，从而适应其预测能力。

技术框架：PTD的整体架构包括教师模型和学生模型，学生模型通过多项式参数化学习教师的轨迹，训练过程中使用曲率头来优化学习，推理时保持原有骨干网络结构。

关键创新：PTD的核心创新在于允许学生模型根据自身能力调整学习的曲率，避免了现有方法中因过度复杂而导致的细节损失。

关键设计：在训练过程中，PTD引入了曲率头以优化学习过程，损失函数设计上考虑了教师指导与学生生成之间的匹配，确保生成视频的动态性和多样性。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，PTD在Wan2.1-14B数据集上实现了新的状态，四步生成的动态质量和自然性显著优于PDD，且在33B音视频MiniMax-H3上，LoRA训练的PTD在多样性和自然性上超越了LightX2V Turbo。盲测中，PTD对PDD和LightX2V Turbo的偏好比例分别为55.1%和63.4%。

🎯 应用场景

该研究在视频生成领域具有广泛的应用潜力，尤其是在需要高效生成高质量视频内容的场景，如影视制作、游戏开发和虚拟现实等。通过降低计算成本，PTD能够使得实时视频生成成为可能，提升用户体验。

📄 摘要（原文）

Video diffusion and flow models require many sequential evaluations, making generation computationally expensive. Few-step distillation reduces this cost but poses a capacity allocation problem: a student must match the teacher's iterative generation with far less sequential computation. Existing trajectory methods ask the student to reproduce teacher transitions that are highly curved at high noise, which can exceed its capacity and degrade fine detail. We introduce Parametric Trajectory Distillation (PTD), which lets the student parameterize teacher trajectory segments as polynomials and learn from teacher guidance along its own predicted path. PTD is designed to let the learned curvature adapt to the backbone's predictive capacity, preserving motion and diversity. The curvature head is used only in training; inference keeps the original backbone architecture. On Wan2.1-14B, four-step PTD sets a new state of the art for trajectory distillation, significantly improving dynamic quality and naturalness over PDD, the best-performing trajectory-only method on this model, under the same training setting. On the 33B audio-video MiniMax-H3, LoRA-trained PTD significantly improves diversity and naturalness over the state-of-the-art LightX2V Turbo. Blinded human votes give PTD 55.1% and 63.4% preference shares against PDD and LightX2V Turbo. Project page: https://alan-lanfeng.github.io/PTD/.