A Systematic Post-Train Framework for Video Generation
作者: Zeyue Xue, Siming Fu, Jie Huang, Shuai Lu, Haoran Li, Yijun Liu, Yuming Li, Xiaoxuan He, Mengzhao Chen, Haoyang Huang, Nan Duan, Ping Luo
分类: cs.CV
发布日期: 2026-04-28
备注: Tech report
💡 一句话要点
提出视频生成后训练框架，提升生成质量、时序一致性与指令遵循能力。
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 视频生成 扩散模型 后训练 强化学习 人类反馈 提示工程 推理优化 时序一致性
📋 核心要点
- 现有视频生成模型存在提示敏感、时序不一致和推理成本高等问题，限制了实际应用。
- 提出后训练框架，包含监督微调、强化学习、提示增强和推理优化四个阶段，提升模型性能。
- 实验表明，该框架有效缓解伪影，显著提高可控性和视觉美感，同时控制采样成本。
📝 摘要（中文）
大规模视频扩散模型在生成高分辨率和语义丰富的内容方面表现出令人印象深刻的能力，但由于提示敏感性、时间不一致性和高昂的推理成本等关键问题，其预训练性能与实际部署需求之间仍然存在显著差距。为了弥合这一差距，我们提出了一个全面的后训练框架，该框架通过四个协同阶段系统地将预训练模型与用户意图对齐：首先，我们采用监督微调（SFT）将基础模型转换为稳定的指令遵循策略；其次，采用基于人类反馈的强化学习（RLHF）阶段，利用一种为视频扩散量身定制的新型群体相对策略优化（GRPO）方法来提高感知质量和时间连贯性；随后，我们通过专门的语言模型集成提示增强来改进用户输入；最后，通过推理优化来解决系统效率问题。总之，这些组件提供了一种系统的方法来提高视觉质量、时间连贯性和指令遵循能力，同时保留预训练期间学习的可控性。结果是构建可扩展的后训练管道的实用蓝图，该管道在实际部署中稳定、适应性强且有效。大量实验表明，这种统一的管道有效地缓解了常见的伪影，并显着提高了可控性和视觉美感，同时遵守严格的采样成本约束。
🔬 方法详解
问题定义：现有的大规模视频扩散模型虽然在生成高分辨率和语义丰富的内容方面表现出色，但实际应用中面临着诸多挑战。例如，模型对输入的提示非常敏感，细微的prompt变化可能导致生成结果的巨大差异。此外，生成视频的时序一致性难以保证，容易出现闪烁、跳变等问题。最后，高昂的推理成本也限制了其在资源受限环境中的部署。
核心思路：本文的核心思路是通过一个系统性的后训练框架，对预训练的视频扩散模型进行精细化调整，使其更好地满足实际应用的需求。该框架包含四个关键阶段，分别解决了指令遵循、生成质量、提示理解和推理效率等问题。通过多阶段的协同优化，可以显著提升模型的整体性能。
技术框架：该后训练框架包含以下四个主要阶段： 1. 监督微调 (SFT)：使用高质量的视频-文本对数据，对预训练模型进行微调，使其更好地理解和遵循用户指令。 2. 基于人类反馈的强化学习 (RLHF)：利用人类对生成视频的偏好信息，通过强化学习算法优化模型，提升生成视频的感知质量和时序一致性。该阶段使用了Group Relative Policy Optimization (GRPO) 方法。 3. 提示增强：使用专门的语言模型对用户输入的提示进行优化和增强，使其更加清晰和明确，从而提高生成结果的质量。 4. 推理优化：通过模型压缩、量化等技术，降低模型的推理成本，使其能够在资源受限的环境中高效运行。
关键创新：该论文的关键创新在于提出了一个完整的、系统性的后训练框架，将监督学习、强化学习、提示工程和推理优化等多种技术有机地结合在一起。特别是，GRPO 方法是专门为视频扩散模型设计的，能够有效地提升生成视频的时序一致性。此外，该框架的模块化设计也使其具有很强的灵活性和可扩展性。
关键设计：在 RLHF 阶段，GRPO 方法通过对多个生成视频进行相对排序，从而更有效地利用人类反馈信息。具体来说，GRPO 算法维护一个策略池，每次从中选择多个策略生成视频，然后让人类对这些视频进行排序。算法根据排序结果，更新策略池中每个策略的权重，从而引导模型生成更高质量的视频。SFT阶段使用了高质量的视频-文本对数据，并仔细调整了学习率等超参数，以避免过拟合。
🖼️ 关键图片
📊 实验亮点
实验结果表明，该后训练框架能够显著提升视频生成模型的性能。例如，在视觉质量方面，该框架生成的视频在用户偏好度上优于现有方法。在时序一致性方面，该框架能够有效减少视频中的闪烁和跳变现象。此外，该框架还能够显著降低模型的推理成本，使其能够在移动设备等资源受限的环境中运行。
🎯 应用场景
该研究成果可广泛应用于视频内容创作、虚拟现实、游戏开发等领域。通过提升视频生成模型的质量、可控性和效率，可以降低视频制作的门槛，促进相关产业的创新和发展。例如，用户可以通过简单的文本描述，快速生成高质量的定制化视频内容。
📄 摘要（原文）
While large-scale video diffusion models have demonstrated impressive capabilities in generating high-resolution and semantically rich content, a significant gap remains between their pretraining performance and real-world deployment requirements due to critical issues such as prompt sensitivity, temporal inconsistency, and prohibitive inference costs. To bridge this gap, we propose a comprehensive post-training framework that systematically aligns pretrained models with user intentions through four synergistic stages: we first employ Supervised Fine-Tuning (SFT) to transform the base model into a stable instruction-following policy, followed by a Reinforcement Learning from Human Feedback (RLHF) stage that utilizes a novel Group Relative Policy Optimization (GRPO) method tailored for video diffusion to enhance perceptual quality and temporal coherence; subsequently, we integrate Prompt Enhancement via a specialized language model to refine user inputs, and finally address system efficiency through Inference Optimization. Together, these components provide a systematic approach to improving visual quality, temporal coherence, and instruction following, while preserving the controllability learned during pretraining. The result is a practical blueprint for building scalable post-training pipelines that are stable, adaptable, and effective in real-world deployment. Extensive experiments demonstrate that this unified pipeline effectively mitigates common artifacts and significantly improves controllability and visual aesthetics while adhering to strict sampling cost constraints.