Think Before You Diffuse: Infusing Physical Rules into Video Diffusion
作者: Ke Zhang, Cihan Xiao, Jiacong Xu, Yiqun Mei, Vishal M. Patel
分类: cs.CV
发布日期: 2025-05-27 (更新: 2025-10-07)
备注: 19 pages, 8 figures
🔗 代码/项目: PROJECT_PAGE
💡 一句话要点
DiffPhy：融合物理规则的视频扩散模型，提升生成视频的物理真实性
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 视频扩散模型 物理规则 大型语言模型 多模态学习 视频生成
📋 核心要点
- 现有视频扩散模型在生成视觉效果良好的视频方面表现出色，但在合成正确的物理效果方面仍面临挑战。
- DiffPhy利用大型语言模型推断物理上下文，并通过多模态大型语言模型验证中间潜在变量，从而将物理规则融入视频扩散模型。
- 实验表明，DiffPhy在各种物理相关场景中取得了最先进的结果，证明了其在物理真实性视频生成方面的有效性。
📝 摘要（中文）
本文提出DiffPhy，一个通用框架，通过微调预训练的视频扩散模型，实现物理正确且照片级真实的视频生成。该方法利用大型语言模型（LLMs）从文本提示中推断丰富的物理上下文。为了将此上下文融入视频扩散模型，我们使用多模态大型语言模型（MLLM）来验证中间潜在变量与推断的物理规则是否一致，从而相应地指导模型的梯度更新。LLM的文本输出被转换为连续信号。我们制定了一组训练目标，共同确保物理准确性以及与输入文本的语义对齐。此外，通过注意力注入来纠正物理现象的失败案例。我们还建立了一个高质量的物理视频数据集，其中包含各种物理动作和事件，以促进有效的微调。在公共基准上的大量实验表明，DiffPhy能够在各种与物理相关的场景中产生最先进的结果。
🔬 方法详解
问题定义：当前视频扩散模型在生成视觉上吸引人的视频内容方面取得了显著进展，但它们在模拟真实世界中的物理规律方面仍然存在不足。由于真实世界运动、交互和动力学的复杂性，从数据中学习物理规律变得非常困难。因此，如何让视频扩散模型生成符合物理规律的视频是一个亟待解决的问题。
核心思路：DiffPhy的核心思路是将从文本提示中推断出的物理规则融入到视频扩散模型的训练过程中。通过利用大型语言模型（LLMs）理解文本描述中的物理含义，并使用多模态大型语言模型（MLLMs）在扩散过程中验证中间潜在变量是否符合这些物理规则，从而引导模型生成更符合物理规律的视频。这种方法的核心在于利用LLM的知识来弥补视频扩散模型在物理理解上的不足。
技术框架：DiffPhy的整体框架包括以下几个主要模块：1) 使用LLM从文本提示中推断物理上下文；2) 使用MLLM验证中间潜在变量与推断的物理规则的一致性；3) 将LLM的文本输出转换为连续信号，用于指导模型的梯度更新；4) 设计训练目标，确保物理准确性和语义对齐；5) 使用注意力注入纠正物理现象的失败案例。这些模块协同工作，使得视频扩散模型能够生成更符合物理规律的视频。
关键创新：DiffPhy的关键创新在于将大型语言模型（LLMs）和多模态大型语言模型（MLLMs）引入到视频扩散模型的训练过程中，从而实现了物理规则的有效融入。与传统的视频扩散模型相比，DiffPhy能够更好地理解文本提示中的物理含义，并在生成过程中保证物理规律的正确性。此外，通过注意力注入纠正物理现象的失败案例也是一个重要的创新点。
关键设计：DiffPhy的关键设计包括：1) 使用LLM进行物理上下文推断的具体prompt工程；2) MLLM验证中间潜在变量的具体方法，例如如何将文本输出转换为连续信号；3) 训练目标的具体形式，例如如何平衡物理准确性和语义对齐；4) 注意力注入的具体实现方式，例如如何选择需要纠正的物理现象以及如何调整注意力权重。
🖼️ 关键图片
📊 实验亮点
DiffPhy在多个物理相关的视频生成任务上取得了最先进的结果。通过与现有方法的对比实验表明，DiffPhy能够显著提高生成视频的物理真实性，并且能够更好地与文本提示保持语义一致性。此外，DiffPhy在处理一些复杂的物理现象时也表现出了强大的能力，例如能够生成逼真的物体碰撞和运动轨迹。
🎯 应用场景
DiffPhy具有广泛的应用前景，例如可以用于生成高质量的物理仿真视频，用于游戏开发、电影制作、教育培训等领域。此外，该方法还可以用于改进现有的视频编辑工具，使其能够更好地处理物理相关的视频内容。未来，DiffPhy有望成为一个通用的视频生成框架，能够生成各种符合物理规律的视频内容。
📄 摘要（原文）
Recent video diffusion models have demonstrated their great capability in generating visually-pleasing results, while synthesizing the correct physical effects in generated videos remains challenging. The complexity of real-world motions, interactions, and dynamics introduce great difficulties when learning physics from data. In this work, we propose DiffPhy, a generic framework that enables physically-correct and photo-realistic video generation by fine-tuning a pre-trained video diffusion model. Our method leverages large language models (LLMs) to infer rich physical context from the text prompt. To incorporate this context into the video diffusion model, we use a multimodal large language model (MLLM) to verify intermediate latent variables against the inferred physical rules, guiding the gradient updates of model accordingly. Textual output of LLM is transformed into continuous signals. We then formulate a set of training objectives that jointly ensure physical accuracy and semantic alignment with the input text. Additionally, failure facts of physical phenomena are corrected via attention injection. We also establish a high-quality physical video dataset containing diverse phyiscal actions and events to facilitate effective finetuning. Extensive experiments on public benchmarks demonstrate that DiffPhy is able to produce state-of-the-art results across diverse physics-related scenarios. Our project page is available at https://bwgzk-keke.github.io/DiffPhy/.