Prompt-A-Video: Prompt Your Video Diffusion Model via Preference-Aligned LLM
作者: Yatai Ji, Jiacheng Zhang, Jie Wu, Shilong Zhang, Shoufa Chen, Chongjian GE, Peize Sun, Weifeng Chen, Wenqi Shao, Xuefeng Xiao, Weilin Huang, Ping Luo
分类: cs.CV, cs.CL, cs.MM
发布日期: 2024-12-19
💡 一句话要点
Prompt-A-Video：提出基于偏好对齐LLM的视频扩散模型Prompt优化框架
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 文本到视频生成 Prompt优化 大型语言模型 偏好对齐 扩散模型
📋 核心要点
- 现有文本到视频模型依赖人工prompt调整，效率低且难以保证质量，自动prompt优化方法在视频领域面临模态不一致等挑战。
- Prompt-A-Video通过LLM自动生成和优化prompt，使其更贴合视频扩散模型的特性，并与人类偏好对齐，无需人工干预。
- 实验表明，Prompt-A-Video在多种视频生成模型上有效，能够生成更高质量、更符合用户偏好的视频内容。
📝 摘要（中文）
本文提出了一种基于LLM的prompt自适应框架Prompt-A-Video，旨在为特定的视频扩散模型生成以视频为中心、无需人工干预且偏好对齐的prompt。该方法包含一个精心设计的两阶段优化和对齐系统。首先，进行奖励引导的prompt进化流程，自动创建最优prompt池，并利用它们对LLM进行监督微调（SFT）。然后，采用多维奖励生成SFT模型的成对数据，并使用直接偏好优化（DPO）算法进一步促进偏好对齐。通过大量的实验和对比分析，验证了Prompt-A-Video在各种生成模型中的有效性，突显了其推动视频生成边界的潜力。
🔬 方法详解
问题定义：当前文本到视频生成模型依赖于高质量的文本-视频对进行训练，其中文本prompt对生成视频的质量至关重要。然而，获得期望的输出通常需要多次修改和迭代推理来优化用户提供的prompt。现有的自动prompt优化方法在应用于文本到视频扩散模型时，面临着模态不一致、成本差异和模型感知不足等挑战。
核心思路：Prompt-A-Video的核心思路是利用大型语言模型（LLM）的强大文本理解和生成能力，自动生成和优化prompt，使其更好地适应视频扩散模型的特性，并与人类的偏好对齐。通过奖励引导的prompt进化和偏好对齐，克服了现有方法的局限性。
技术框架：Prompt-A-Video框架包含两个主要阶段：1) 奖励引导的Prompt进化和监督微调（SFT）：首先，通过奖励函数引导prompt进化，自动生成一个高质量的prompt池。然后，利用这些prompt池对LLM进行SFT，使其初步具备生成高质量视频prompt的能力。2) 基于直接偏好优化（DPO）的偏好对齐：使用多维奖励生成成对数据，并利用DPO算法进一步对SFT模型进行微调，使其生成的prompt更符合人类的偏好。
关键创新：Prompt-A-Video的关键创新在于：1) 提出了一个针对视频扩散模型的prompt优化框架，解决了现有方法在视频领域的局限性。2) 采用了奖励引导的prompt进化和DPO算法，实现了prompt与模型特性和人类偏好的对齐。3) 设计了多维奖励函数，综合考虑了视频生成的多个方面，从而生成更高质量的prompt。
关键设计：奖励函数的设计是关键。论文中使用了多维奖励，可能包括视频质量、与prompt的相关性、多样性等指标。DPO算法的具体实现细节，例如奖励模型的选择、成对数据的生成方式、DPO的超参数设置等，也会影响最终的性能。具体的参数设置和损失函数细节在论文中应该有更详细的描述（未知）。
🖼️ 关键图片
📊 实验亮点
论文通过实验验证了Prompt-A-Video在多种视频生成模型上的有效性。具体的性能数据（例如，视频质量的提升幅度、用户偏好度等）和对比基线（例如，人工prompt、其他自动prompt优化方法）需要在论文中查找。实验结果表明，Prompt-A-Video能够显著提高视频生成的质量和用户满意度（具体提升幅度未知）。
🎯 应用场景
Prompt-A-Video可应用于各种文本到视频生成场景，例如电影制作、广告设计、教育内容创作等。它可以降低视频生成的门槛，提高生成效率和质量，并为用户提供更个性化的视频内容。未来，该技术有望进一步发展，实现更智能、更高效的视频生成。
📄 摘要（原文）
Text-to-video models have made remarkable advancements through optimization on high-quality text-video pairs, where the textual prompts play a pivotal role in determining quality of output videos. However, achieving the desired output often entails multiple revisions and iterative inference to refine user-provided prompts. Current automatic methods for refining prompts encounter challenges such as Modality-Inconsistency, Cost-Discrepancy, and Model-Unaware when applied to text-to-video diffusion models. To address these problem, we introduce an LLM-based prompt adaptation framework, termed as Prompt-A-Video, which excels in crafting Video-Centric, Labor-Free and Preference-Aligned prompts tailored to specific video diffusion model. Our approach involves a meticulously crafted two-stage optimization and alignment system. Initially, we conduct a reward-guided prompt evolution pipeline to automatically create optimal prompts pool and leverage them for supervised fine-tuning (SFT) of the LLM. Then multi-dimensional rewards are employed to generate pairwise data for the SFT model, followed by the direct preference optimization (DPO) algorithm to further facilitate preference alignment. Through extensive experimentation and comparative analyses, we validate the effectiveness of Prompt-A-Video across diverse generation models, highlighting its potential to push the boundaries of video generation.