Training-free Guidance in Text-to-Video Generation via Multimodal Planning and Structured Noise Initialization

📄 arXiv: 2504.08641v1 📥 PDF

作者: Jialu Li, Shoubin Yu, Han Lin, Jaemin Cho, Jaehong Yoon, Mohit Bansal

分类: cs.CV, cs.AI, cs.CL

发布日期: 2025-04-11

备注: Website: https://video-msg.github.io; The first three authors contributed equally

💡 一句话要点

提出Video-MSG以解决文本到视频生成中的布局控制问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 文本到视频生成 多模态规划 结构化噪声 视频草图 扩散模型 内存优化 生成模型

📋 核心要点

  1. 现有的文本到视频生成模型在遵循文本描述时存在困难，尤其是在空间布局和物体轨迹的控制上。
  2. 本文提出Video-MSG方法，通过多模态规划和结构化噪声初始化，实现了训练无关的指导，简化了生成过程。
  3. Video-MSG在多个T2V生成基准测试中表现出色，显著提高了文本对齐效果，且无需额外内存开销。

📝 摘要（中文）

最近在文本到视频（T2V）扩散模型的进展显著提升了生成视频的视觉质量。然而，现有模型在准确遵循文本描述方面仍面临挑战，尤其是在需要精确控制空间布局或物体轨迹时。为了解决这一问题，本文提出了一种名为Video-MSG的训练无关指导方法，基于多模态规划和结构化噪声初始化。Video-MSG通过创建视频草图来制定细粒度的时空计划，并通过噪声反演和去噪指导下游T2V扩散模型。该方法在多个T2V基准测试中展示了其有效性，且无需在推理时进行微调或注意力操作，降低了内存需求。

🔬 方法详解

问题定义：当前文本到视频生成模型在处理复杂的文本描述时，尤其是空间布局和物体运动轨迹的控制上存在显著不足，导致生成视频的质量和一致性受到影响。现有方法通常需要在推理时进行微调或注意力图的迭代操作，增加了内存需求。

核心思路：本文提出的Video-MSG方法通过多模态规划和结构化噪声初始化，创建视频草图，提供了一种训练无关的指导方式。该方法旨在简化生成过程，避免在推理时的复杂操作，从而降低内存消耗。

技术框架：Video-MSG的整体流程分为三个步骤：首先生成视频草图，制定背景、前景及物体轨迹的细粒度时空计划；其次通过噪声反演将草图信息传递给下游T2V扩散模型；最后进行去噪处理以生成最终视频。

关键创新：Video-MSG的主要创新在于其训练无关的指导方式，避免了对模型的微调和注意力操作，使得大型T2V模型的应用变得更加可行。与现有方法相比，Video-MSG在内存使用和生成效率上具有显著优势。

关键设计：在设计中，Video-MSG采用了结构化噪声初始化和多模态规划策略，确保生成的视频草图能够准确反映文本描述的意图。此外，论文还进行了全面的消融研究，探讨了噪声反演比率、不同背景生成器、背景物体检测和前景物体分割等关键参数的影响。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在多个T2V生成基准测试中，Video-MSG显著提高了文本对齐效果，尤其是在使用VideoCrafter2和CogVideoX-5B模型时，表现出色。具体而言，实验结果显示，Video-MSG在生成质量和一致性上相较于基线方法有明显提升，且内存需求大幅降低。

🎯 应用场景

该研究的潜在应用领域包括影视制作、游戏开发和虚拟现实等，能够为创作者提供更高效的工具来生成符合特定文本描述的视频内容。未来，随着技术的进一步发展，Video-MSG有望在自动化视频生成和个性化内容创作中发挥更大作用。

📄 摘要（原文）

Recent advancements in text-to-video (T2V) diffusion models have significantly enhanced the visual quality of the generated videos. However, even recent T2V models find it challenging to follow text descriptions accurately, especially when the prompt requires accurate control of spatial layouts or object trajectories. A recent line of research uses layout guidance for T2V models that require fine-tuning or iterative manipulation of the attention map during inference time. This significantly increases the memory requirement, making it difficult to adopt a large T2V model as a backbone. To address this, we introduce Video-MSG, a training-free Guidance method for T2V generation based on Multimodal planning and Structured noise initialization. Video-MSG consists of three steps, where in the first two steps, Video-MSG creates Video Sketch, a fine-grained spatio-temporal plan for the final video, specifying background, foreground, and object trajectories, in the form of draft video frames. In the last step, Video-MSG guides a downstream T2V diffusion model with Video Sketch through noise inversion and denoising. Notably, Video-MSG does not need fine-tuning or attention manipulation with additional memory during inference time, making it easier to adopt large T2V models. Video-MSG demonstrates its effectiveness in enhancing text alignment with multiple T2V backbones (VideoCrafter2 and CogVideoX-5B) on popular T2V generation benchmarks (T2VCompBench and VBench). We provide comprehensive ablation studies about noise inversion ratio, different background generators, background object detection, and foreground object segmentation.