STRIKE: Learning Visual State Transitions for Physical World Modeling

📄 arXiv: 2610.09514v1 📥 PDF

作者: Wenbin Teng, Tianshuo Xu, Depu Meng, Yuelei Li, Quentin Herau, Yihan Hu, Yajie Zhao, Wei Zhan

分类: cs.CV

发布日期: 2026-10-07

💡 一句话要点

提出STRIKE框架以解决物理世界建模中的状态转移问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 物理世界建模 状态转移学习 视频生成 视觉-语言规划 动态模型

📋 核心要点

  1. 现有方法在物理世界建模中往往未能有效预测交互如何改变场景，导致生成的运动缺乏物理一致性。
  2. STRIKE框架通过将视觉状态转移学习与视频生成分离，采用事件对齐的监督机制，提升了状态转移的预测能力。
  3. 在多个基准测试中，STRIKE在物理一致性和操作视频保真度上均显著优于传统视频生成方法，验证了其有效性。

📝 摘要（中文）

物理世界建模需要预测交互如何改变场景，而不仅仅是生成连贯的运动。我们提出了STRIKE框架，将视觉状态转移学习与密集视频生成分离。通过从训练视频中提取观察状态并与转移描述和时间偏移配对，我们构建了事件对齐的监督机制。基于图像的转移模型学习从当前图像、局部转移规范和经过时间预测下一个场景配置。在推理阶段，预训练的视觉-语言规划器预测时间转移规范，递归应用学习的转移模型生成未来视觉状态序列。随后，单独训练的动态模型基于这些状态及其时间位置生成完整的展开。实验结果表明，STRIKE在物理一致性和操作视频保真度的基准测量上优于相应的视频骨干基线，支持学习的视觉状态转移作为物理世界建模的有效中间表示。

🔬 方法详解

问题定义：本论文旨在解决物理世界建模中状态转移预测的不足，现有方法往往无法准确捕捉交互对场景的影响，导致生成结果的物理一致性不足。

核心思路：STRIKE框架的核心思路是将视觉状态转移学习与密集视频生成分离，利用事件对齐的监督机制来提高状态转移的预测精度。通过提取训练视频中的观察状态，并与转移描述和时间偏移进行配对，构建了一个有效的学习体系。

技术框架：STRIKE的整体架构包括两个主要模块：图像基础的转移模型和动态模型。转移模型负责从当前图像和局部转移规范中预测下一个场景配置，而动态模型则在此基础上生成完整的时间序列展开。

关键创新：STRIKE的关键创新在于其事件对齐的监督机制和图像基础的转移模型，这与现有方法的密集视频生成方式形成了本质区别，提供了更为灵活和准确的状态转移学习。

关键设计：在设计中，采用了特定的损失函数来优化状态转移的预测精度，并通过预训练的视觉-语言规划器来生成时间转移规范，确保了模型的高效性与准确性。该框架的参数设置经过精心调试，以适应不同的物理场景。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，STRIKE在Physics-IQ Verified、PhyGenBench、Pisa-Experiments和RoboTwin2.0等基准测试中，相较于视频骨干基线在物理一致性和操作视频保真度上均有显著提升，具体提升幅度未知，验证了其作为有效中间表示的潜力。

🎯 应用场景

该研究的潜在应用领域包括机器人操作、虚拟现实和增强现实等场景，能够有效提升物理交互的模拟精度和真实感。未来，STRIKE框架可能在智能系统的自主学习和决策制定中发挥重要作用，推动相关技术的发展。

📄 摘要（原文）

Physical world modeling requires predicting how interactions change a scene, not merely generating coherent motion. We propose STRIKE, a framework that separates visual state transition learning from dense video generation. We construct event-aligned supervision by extracting observed states from training videos and pairing them with transition descriptions and temporal offsets. An image-based transition model learns to predict the next scene configuration from the current image, a local transition specification, and elapsed time. At inference, a pretrained vision-language planner predicts time transition specifications, and recursive application of the learned transition model produces a sequence of future visual states. A separately trained dynamic model then generates the complete rollout conditioned on these states and their temporal locations. Experiments on Physics-IQ Verified, PhyGenBench, Pisa-Experiments, and RoboTwin2.0 show improvements of STRIKE over the corresponding video-backbone baselines in benchmark measures of physical consistency and manipulation-video fidelity. These results support learned visual state transitions as an effective intermediate representation for physical world modeling.