RepForcing: Representation-Space Initialization for Autoregressive Video Distillation

📄 arXiv: 2610.20111v1 📥 PDF

作者: Siming Fu, Zheming Fu, Lianrui Mu, Haoyang Huang, Chaojie Gu, Ruizhe He

分类: cs.CV

发布日期: 2026-10-14

💡 一句话要点

提出RepForcing以解决短步长自回归视频蒸馏生成质量问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 视频生成 蒸馏训练 自回归模型 因果初始化 表示空间监督

📋 核心要点

  1. 现有方法在短步长自回归视频生成中，因果初始化无法保证生成细节的清晰度，导致模糊现象。
  2. 本文提出Representation Forcing，通过表示空间监督学习因果初始化，避免了中间教师的依赖，提升了生成质量。
  3. 实验结果显示，RepForcing在四步采样下生成质量优于传统方法，DMD后性能指标显著提升。

📝 摘要（中文）

在将预训练的视频扩散模型蒸馏为少步自回归生成器的过程中，通常结合学生初始化与分布匹配蒸馏（DMD）。然而，仅有因果兼容的目标并不能确保在短采样调度下生成高质量结果。本文提出Representation Forcing，通过表示空间监督学习少步因果初始化，替代了中间教师轨迹回归。该方法利用冻结的视频扩散变换器的归一化特征进行教师强制训练，显著提升生成质量。实验结果表明，RepForcing在四个采样步骤下的生成质量优于基于中间教师的初始化，并在DMD后进一步提升了性能。

🔬 方法详解

问题定义：本文旨在解决在短步长自回归视频生成中，因果初始化导致的生成模糊和细节缺失的问题。现有方法依赖中间教师轨迹回归，效果有限。

核心思路：提出Representation Forcing，通过表示空间监督来学习因果初始化，避免了中间教师的生成依赖，从而提高生成质量。该方法通过比较干净预测与训练目标，利用冻结的视频扩散变换器的特征进行训练。

技术框架：整体框架包括两个主要阶段：首先是利用合成视频进行教师强制训练，其次是进行不变的DMD过程。该方法不需要生成额外的因果ODE轨迹，简化了训练流程。

关键创新：最重要的创新在于通过表示空间监督替代中间教师轨迹回归，直接提升了生成质量，解决了现有方法的模糊问题。

关键设计：在训练过程中，使用了冻结的视频扩散变换器的归一化特征作为损失函数的基础，确保了生成的清晰度和细节保留。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，RepForcing在四个采样步骤下的生成质量优于基于中间教师的初始化，DMD后，四步块状模型在VBench Total上从84.04提升至84.66（+0.62分），在VisionReward上从6.326提升至10.074（+59.25%）。

🎯 应用场景

该研究在视频生成和蒸馏训练领域具有广泛的应用潜力，特别是在影视制作、虚拟现实和游戏开发中，可以用于生成高质量的视频内容。未来，随着技术的进步，可能会在实时视频处理和自动化内容创作中发挥重要作用。

📄 摘要（原文）

Distilling pretrained video diffusion models into few-step autoregressive (AR) generators typically combines student initialization with distribution matching distillation (DMD). An intermediate AR teacher can provide causally compatible targets for ODE initialization. However, causally compatible targets alone do not ensure high-quality generation under a short sampling schedule. We analyze the posterior-mean predictions favored by direct latent regression and empirically find that causal ODE initialization alleviates blur but still leaves fine detail unresolved. To address this limitation, we propose Representation Forcing, which learns few-step causal initialization through representation-space supervision rather than intermediate-teacher trajectory regression. The student is trained with teacher forcing by comparing clean predictions and training targets through normalized features of a frozen video diffusion transformer. This phase reuses the synthetic videos generated by a bidirectional model for AR teacher training and replaces both teacher training and causal ODE distillation, without generating additional causal ODE trajectories. The subsequent asymmetric DMD procedure remains unchanged. Empirical results show that, at four sampling steps, RepForcing better preserves generation quality than intermediate-teacher-based initialization before DMD. After DMD, our four-step chunk-wise model improves VBench Total from 84.04 to 84.66 (+0.62 points) and VisionReward from 6.326 to 10.074 (+59.25%) over the reported causal-ODE-based baseline.