StrucPhysVideo: Learning Physical Dynamics from Structured Captions and Robot Actions
作者: Awomo-WM Team, :, Enhui Ma, Kaiwen Guo, Tingrui Zhang, Wei Song, Yingshui Tan, Jianhua Xu, Tong Zhang, Kaicheng Yu
分类: cs.CV
发布日期: 2026-09-16
备注: Project page: https://westlakedi-awomo.github.io/StrucPhysVideo-Page/
💡 一句话要点
提出StrucPhysVideo以解决物理动态建模问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 物理动态建模 视频世界模型 多模态学习 机器人控制 动作驱动交互
📋 核心要点
- 现有方法在物理动态建模中面临挑战，难以有效整合视频数据与语言和动作信息。
- 论文提出的StrucPhysVideo通过结构化注释和运动感知视频分割，提供了基于物理事件的监督，增强了模型的预测能力。
- StrucPhysVideo-TI2V在Physics-IQ Verified上取得了45.5%的成绩，超越了现有基线，验证了物理聚焦监督的有效性。
📝 摘要（中文）
物理动态建模，包括物体的运动、交互和状态变化，是嵌入式人工智能视频世界模型的核心。本文提出StrucPhysVideo，一系列视频世界模型，旨在将物理聚焦的数据整理与基于语言和动作的场景演变预测相结合。我们的数据管道结合了运动感知的视频分割、质量和内容过滤，以及物理相关性验证，配合对象、材料和时间局部交互的结构化注释。通过将相机运动与物体行为解耦，并明确描述接触、变形和状态转变，该管道提供了基于可观察物理事件的监督。基于这些数据，我们引入了StrucPhysVideo-TI2V，一个稀疏的混合专家文本-图像-视频模型，经过逐步强调物理动态的课程训练，保持一般领域视频数据。StrucPhysVideo-TI2V在Physics-IQ Verified上达到了45.5%的最佳性能，超越了Cosmos3-Super-Image2Video 2.8个百分点。通过对骨干网络的标题消融实验进一步验证了物理聚焦监督的有效性。我们还将StrucPhysVideo-TI2V扩展为StrucPhysVideo-IA2V，一个交互式图像-动作-视频世界模型，能够根据机器人末端执行器命令预测视觉结果。动作条件、因果自回归生成和少步蒸馏使得仅需四个去噪步骤即可实现增量机器人展开。综上所述，StrucPhysVideo推动了从图像和语言条件的视频预测到动作驱动交互的物理动态建模。
🔬 方法详解
问题定义：本论文旨在解决物理动态建模中的数据整合问题，现有方法难以有效结合视频、语言和动作信息，导致模型在预测物理交互时的准确性不足。
核心思路：论文的核心思路是通过结构化注释和运动感知视频分割，提供基于可观察物理事件的监督，从而提升模型对物理动态的理解和预测能力。
技术框架：整体架构包括数据管道、模型训练和预测模块。数据管道负责视频分割、质量过滤和物理相关性验证，模型训练则采用稀疏混合专家架构，最后通过交互式模型进行视觉结果预测。
关键创新：最重要的技术创新在于将物理动态建模与语言和动作条件的预测相结合，形成了新的视频世界模型，显著提升了模型的预测性能。
关键设计：在模型设计中，采用了稀疏混合专家架构，设置了逐步强调物理动态的训练课程，并通过少步蒸馏技术优化了生成过程，确保了模型在实际应用中的高效性。
🖼️ 关键图片
📊 实验亮点
StrucPhysVideo-TI2V在Physics-IQ Verified上达到了45.5%的成绩，超越了Cosmos3-Super-Image2Video 2.8个百分点，验证了物理聚焦监督的有效性。通过对比实验，进一步证明了该模型在物理动态建模中的优势。
🎯 应用场景
该研究的潜在应用领域包括机器人控制、自动驾驶、虚拟现实等，能够为这些领域提供更加精准的物理动态预测，提升智能系统的交互能力和决策效率。未来，StrucPhysVideo可能在多模态学习和人机交互中发挥重要作用，推动智能系统的进一步发展。
📄 摘要（原文）
Modeling physical dynamics, including how objects move, interact, and change state, is central to video world models for embodied AI. We present StrucPhysVideo, a family of video world models that bridges physics-focused data curation with language- and action-conditioned prediction of scene evolution. Our data pipeline combines motion-aware video segmentation, quality and content filtering, and physical relevance verification with structured annotations of objects, materials, and temporally localized interactions. By disentangling camera motion from object behavior and explicitly describing contact, deformation, and state transitions, the pipeline provides supervision grounded in observable physical events. Building on these data, we introduce StrucPhysVideo-TI2V, a sparse Mixture-of-Experts (MoE) text-image-to-video model trained with a curriculum that progressively emphasizes physical dynamics while retaining general-domain video data. StrucPhysVideo-TI2V achieves state-of-the-art performance on Physics-IQ Verified, scoring 45.5% and outperforming Cosmos3-Super-Image2Video by 2.8 percentage points. Caption ablations across backbones further demonstrate the effectiveness of physics-focused supervision. We further extend StrucPhysVideo-TI2V to StrucPhysVideo-IA2V, an interactive image-action-to-video world model that predicts visual outcomes from robot end-effector commands. Action conditioning, causal autoregressive generation, and few-step distillation enable incremental robot rollouts with only four denoising steps. Together, StrucPhysVideo advances physical dynamics modeling from image- and language-conditioned video prediction toward action-driven interaction.