PhysFlow: Physics-Aware Optical Flow for Motion Controllable Video Generation
作者: Cong Wang, Hanxin Zhu, Yonglin Tian, Jiayi Luo, Ruiqi Song, Boyi Sun, Long Chen, Zhibo Chen
分类: cs.CV
发布日期: 2026-09-08
💡 一句话要点
提出PhysFlow以解决视频生成中的物理一致性问题
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱四：生成式动作 (Generative Motion) 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation)
关键词: 视频生成 物理一致性 光流生成 外观合成 物理感知
📋 核心要点
- 现有视频生成模型在生成物理一致性和合理动态方面存在显著挑战，导致生成视频的真实感不足。
- 本文提出PhysFlow框架，通过分阶段处理，首先生成运动感知的光流，然后进行外观合成，从而提高视频的物理合理性。
- 实验结果显示，PhysFlow在物理合理性和视觉保真度上优于现有方法，生成的视频更具真实感。
📝 摘要（中文）
视频生成模型近年来受到广泛关注，但确保生成视频的物理一致性和合理动态仍然是一个基本挑战。为此，本文提出了PhysFlow，一个新颖的两阶段框架，通过将视频生成分解为运动感知的光流生成和运动条件的外观合成，来提高生成视频的物理合理性。PhysFlow包括一个物理感知光流视频生成器PA-Flow和一个流引导视频生成器FlowRender。PA-Flow利用物理感知注意力模块建模运动属性和材料特性对全局运动和局部变形的影响，生成光流视频作为运动的显式表示。FlowRender则利用解耦的运动表示指导合成真实的纹理和外观，最终生成物理合理的视频。实验表明，PhysFlow在物理合理性和视觉保真度上优于现有方法。
🔬 方法详解
问题定义：本文旨在解决视频生成中的物理一致性问题，现有方法往往无法有效捕捉运动模式和物理规律，导致生成视频缺乏真实感。
核心思路：PhysFlow通过将视频生成过程分为两个阶段，首先生成运动感知的光流表示，然后基于此进行外观合成，从而增强生成视频的物理合理性。
技术框架：PhysFlow包含两个主要模块：PA-Flow和FlowRender。PA-Flow负责生成光流视频，FlowRender则利用光流信息合成最终视频。
关键创新：最重要的创新在于引入物理感知注意力模块，使得模型能够有效地捕捉运动属性和材料特性对运动的影响，这在现有方法中尚未实现。
关键设计：在PA-Flow中，设计了物理感知注意力机制以建模运动属性和材料特性；在FlowRender中，利用解耦的运动表示指导纹理合成，确保生成视频的物理一致性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，PhysFlow在物理合理性方面显著优于现有方法，生成的视频在视觉保真度上也保持高水平。与基线方法相比，PhysFlow在物理一致性评分上提升了XX%，在视觉质量评分上提升了YY%。
🎯 应用场景
该研究的潜在应用领域包括电影制作、游戏开发和虚拟现实等，能够为这些领域提供更高质量的动态视频生成技术。未来，PhysFlow可能推动更广泛的物理模拟和视觉效果的结合，提升用户体验。
📄 摘要（原文）
Video generation models have recently attracted substantial attention for their ability to generate visually compelling videos, yet ensuring physically consistent and plausible dynamics still remains a fundamental challenge, driving a growing line of research on physical realism in video generation. To address this challenge, motivated by the fact that physical regularities are primarily encoded in motion patterns, we propose PhysFlow, a novel two-stage framework for improving the physical plausibility of generated videos by decomposing video generation into motion-aware optical flow generation followed by motion-conditioned appearance synthesis. Specifically, PhysFlow consists of a physics-aware optical-flow video generator called PA-Flow and a flow-guided video generator called FlowRender. During the first stage, PA-Flow employs a physics-aware attention module to model how motion attributes and material properties influence global motion and local deformation, respectively, and generates an optical flow video as an explicit representation of motion. In the second stage, FlowRender leverages the decoupled motion representation as guidance to synthesize realistic textures and appearances, ultimately producing the final physically plausible video. To further support model training with explicit physical supervision, we construct PhysVideo, a physics-based video dataset generated with a physics engine and 3D-GS rendering, containing 10K foreground objects and 50K realistic video sequences with annotations of motion and material properties. Extensive experiments demonstrate that our proposed PhysFlow generates videos with superior physical plausibility while maintaining high visual fidelity compared with existing methods.