TriTD: Tri-Partite Trajectory-Distribution Distillation for Real-Time Autoregressive Video Generation

📄 arXiv: 2610.26165v1 📥 PDF

作者: Jia Li, Xurui Peng, Haowei Zhu, Tianyu Zhao, Jiexi Wang, Youwei Zheng, Yuxi Ren, Xinglong Wu, Xing Wang, Hayden Kwok-Hay So

分类: cs.CV

发布日期: 2026-10-19

备注: 21 pages, 8 figures

💡 一句话要点

提出TriTD框架以解决自回归视频生成中的质量与效率问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 自回归视频生成 视频扩散 蒸馏训练 轨迹优化 实时生成 深度学习 计算机视觉

📋 核心要点

  1. 现有自回归视频生成方法在生成质量与推理效率之间存在显著的权衡，影响实际应用。
  2. 论文提出TriTD框架，通过三部分模块共同优化轨迹分布，解决训练与推理中的误差问题。
  3. 实验表明，TriTD在视觉质量上优于现有基线，并实现了实时生成的高效性能，达到26.8 FPS。

📝 摘要（中文）

自回归视频扩散已成为高效视频生成的主要范式，但其实际应用受到生成质量与推理效率之间权衡的制约。我们将这一瓶颈归因于自回归生成中的三种误差来源：基础模型误差、训练-推理分布不匹配以及上游误差传播。基于此分析，我们提出了TriTD，一个三部分轨迹分布共同优化的蒸馏框架，包含三个互补模块，显著提升了生成质量与推理效率。实验结果表明，TriTD在视觉质量上超越现有基线，并在单个H100 GPU上实现26.8 FPS的实时吞吐量，为交互式流媒体视频生成提供了平衡的质量与效率解决方案。

🔬 方法详解

问题定义：论文旨在解决自回归视频生成中的生成质量与推理效率之间的权衡问题。现有方法面临基础模型误差、训练与推理分布不匹配及上游误差传播等挑战。

核心思路：论文通过分析误差来源，提出TriTD框架，采用三部分模块共同优化轨迹分布，从而提升生成质量并提高推理效率。

技术框架：TriTD框架包含三个主要模块：1) 下一节点轨迹蒸馏（NTD），用于ODE初始化；2) 分块分级噪声（CGN），优化训练与推理噪声匹配；3) 正交并行DMD（OP-DMD），引入额外的回归约束以提高训练稳定性。

关键创新：TriTD的创新在于其三部分模块的协同工作，特别是CGN的引入，显著减少了不必要的KV-cache更新，提升了推理速度而不损失质量。

关键设计：在设计中，NTD目标缩短了监督时间范围，降低了回归误差；CGN采用单调非递减的噪声调度；OP-DMD则在正交子空间中引入回归约束，抑制偏离轴的漂移，确保生成质量的稳定性。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果显示，TriTD在视觉质量上超越了现有的基线模型，且在单个H100 GPU上实现了26.8 FPS的实时吞吐量，展现出良好的质量与效率平衡，适用于高要求的交互式视频生成任务。

🎯 应用场景

该研究的潜在应用领域包括实时视频生成、交互式流媒体服务以及虚拟现实等场景。通过提升视频生成的效率与质量，TriTD框架能够为用户提供更流畅的观看体验，推动相关技术的商业化应用与发展。

📄 摘要（原文）

Autoregressive (AR) video diffusion has emerged as a leading paradigm for efficient video generation, yet its practical deployment remains bottlenecked by the trade-off between generation quality and inference efficiency. We attribute this bottleneck to three error sources in AR rollouts: the base model error, the train-inference distribution mismatch, and the upstream error propagation. Building on this decomposition, we derive closed-form upper bounds on the per-step and cumulative errors, providing a principled basis for jointly optimizing generation quality and inference efficiency. Guided by this analysis, we propose TriTD, a Tri-Partite Trajectory-Distribution co-optimized distillation framework with three complementary modules. First, for ODE initialization, we adopt a Next-Node Trajectory Distillation (NTD) objective, which shortens the supervision horizon and admits a lower regression-error floor. Second, we introduce Chunk-Graded Noising (CGN), a monotonically non-decreasing per-chunk noising schedule that helps narrow the expected train-inference noise mismatch and removes redundant KV-cache updates, yielding substantial speedups at no quality cost. Third, we propose Orthogonal-Parallel DMD (OP-DMD), a distribution-matching loss that retains the original DMD supervision while introducing an additional regression constraint in the orthogonal subspace to suppress off-axis drift, improving both training stability and final generation quality. Extensive experiments show that TriTD consistently surpasses existing baselines in visual quality while reaching a real-time throughput of 26.8 FPS on a single H100 GPU, delivering a balanced quality-efficiency solution for interactive streaming video generation.