PhysStream: Streaming Physics-Grounded Video Generation with Structured Scene Memory and Fine-Grained Motion Control
作者: Chuhao Chen, Peter Wonka, Chaoyang Wang, Chen Wang, Qiao Feng, Sergey Tulyakov, Lingjie Liu
分类: cs.CV, cs.AI, cs.GR
发布日期: 2026-09-15
🔗 代码/项目: PROJECT_PAGE
💡 一句话要点
提出PhysStream以解决动态场景细粒度控制问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control)
关键词: 视频生成 物理基础 动态场景 细粒度控制 结构化场景记忆 自回归模型 运动控制 人机交互
📋 核心要点
- 现有可控视频生成方法在动态场景的细粒度操控上存在局限，无法实现实时交互。
- PhysStream通过结构化场景记忆和稀疏速度增量信号，提供了一种新的物理基础的视频生成方法。
- 在合成基准测试中，PhysStream显著降低了运动分布距离和轨迹误差，且在用户评估中表现优异。
📝 摘要（中文）
交互式视频生成的控制正从粗略提示向细粒度、物理意义的动态场景操控转变。然而，现有可控方法要么在生成开始前需要完整的控制计划，要么使用像素空间信号来指示物体位置，而非物理动态。为了解决这些局限性，我们提出了PhysStream，这是一种基于物理的图像到视频合成的自回归模型，结合了结构化场景记忆（从先前生成的帧中在线推导的位置信息图和物体跟踪图），并通过稀疏速度增量信号支持细粒度运动控制，使模型能够学习潜在的动态。我们将模型训练分为两个阶段：首先用运动控制条件微调双向模型，然后训练因果自回归模型，进一步提高物理一致性。PhysStream使得对多物体桌面刚体场景的中间生成控制成为可能，减少了33%的运动分布距离（FVMD）和12%的轨迹误差，并在85%以上的实际比较中被人类评估者偏好。
🔬 方法详解
问题定义：本论文旨在解决现有可控视频生成方法在动态场景细粒度控制上的不足，现有方法通常需要预先定义完整的控制计划，或仅依赖于像素空间信号，无法有效捕捉物理动态。
核心思路：我们提出PhysStream，通过引入结构化场景记忆和稀疏速度增量信号，支持对动态场景的细粒度控制，使模型能够实时学习和调整物理动态。
技术框架：PhysStream的整体架构分为两个阶段：第一阶段是双向模型的微调，结合运动控制条件；第二阶段是训练因果自回归模型，进一步整合结构化场景记忆，增强物理一致性。
关键创新：PhysStream的主要创新在于引入了结构化场景记忆和稀疏速度增量信号，这与现有方法的静态控制方式形成了本质区别，使得动态场景的实时操控成为可能。
关键设计：在模型训练中，我们采用了双向和因果自回归的混合训练策略，设计了适应性损失函数以优化物理一致性，并利用在线生成的位置信息图和物体跟踪图来增强模型的学习能力。
🖼️ 关键图片
📊 实验亮点
在合成基准测试中，PhysStream相比于最强基线减少了33%的运动分布距离（FVMD）和12%的轨迹误差。此外，在85%以上的实际比较中，PhysStream被人类评估者偏好，显示出其在用户体验上的优势。
🎯 应用场景
该研究具有广泛的应用潜力，尤其在游戏开发、虚拟现实和电影制作等领域，可以实现更为自然和交互式的动态场景生成。未来，PhysStream可能推动更复杂的物理模拟和人机交互技术的发展，提升用户体验。
📄 摘要（原文）
Interactive control for video generation is moving from coarse prompts toward fine-grained, physically meaningful manipulation of dynamic scenes. Yet existing controllable methods either require the full control schedule before generation starts, or use pixel-space signals that dictate object positions rather than physical dynamics. To address these limitations, we propose PhysStream, an autoregressive model for physics-grounded image-to-video synthesis that incorporates structured scene memory---positional maps and object tracking maps derived online from previously generated frames---and supports fine-grained motion control via sparse velocity-increment signals that encode physical quantities, letting the model learn the underlying dynamics. We train our model in two stages: a bidirectional model is first finetuned with motion-control conditioning, then a causal autoregressive model is trained with additional structured scene memory, further improving physical consistency. PhysStream enables interactive, mid-generation control over multi-object tabletop rigid-body scenes---a capability not supported by prior methods---reducing motion distribution distance (FVMD) by 33% and trajectory error by 12% over the strongest baselines on synthetic benchmarks, and is preferred by human evaluators in over 85% of in-the-wild comparisons. Please check our website for more details: https://czzzzh.github.io/PhysStream