Physis-Lang: Self-Evolving Language as a Physical Representation for Video World Model
作者: Liming Lu, Xianzheng Ma, Wenkun He, Guanqi Zhan, Yilin Zhao, Junyu Chen, Mengyao Xu, Jiaojiao Fan, Wenhang Ge, Yuchao Gu, Yunze Liu, Boyi Li, Zhen Dong, Victor Prisacariu, Ming-Yu Liu, Song Han, Han Cai
分类: cs.CV
发布日期: 2026-09-30
💡 一句话要点
提出Physis-Lang以解决视频世界模型的物理一致性问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 视频生成 物理建模 自我演化 多模态学习 语言表示
📋 核心要点
- 现有视频世界模型常常生成违反物理原则的视觉内容，缺乏有效的物理知识表示。
- Physis-Lang框架通过自我演化的物理语言优化数据处理和视频生成，提升物理过程的表示能力。
- 在四个广泛使用的物理视频基准上，Physis-Lang显著提高了物理合理性，超越了现有的商业模型。
📝 摘要（中文）
视频世界模型旨在预测物理世界的演变，但现有方法常常生成视觉上合理但违反基本物理原则的视频。本文提出Physis-Lang，一个自我演化的框架，将物理语言视为数据策划、模型训练和视频生成中的共享和可优化表示。Physis-Lang通过描述相关实体、原因、相互作用、治理原则、时间演变和效果的语言来表示物理过程。为改善这一表示，构建了PhysCapBench，通过回忆率和精确度评估物理过程的原子断言。实验表明，Physis-Lang在物理合理性上显著提升，尤其在基于开源Cosmos3-Nano的模型上超越了领先的商业模型Veo 3.1。
🔬 方法详解
问题定义：现有的视频世界模型在生成视频时常常忽视基本的物理原则，导致生成内容的物理合理性不足。现有方法通常依赖额外的视觉或数值信号来补充物理知识，但效果有限。
核心思路：本文提出Physis-Lang框架，利用物理语言作为共享的表示方式，贯穿数据策划、模型训练和视频生成的全过程，旨在通过语言描述物理过程的各个方面来提升生成视频的物理合理性。
技术框架：Physis-Lang的整体架构包括数据策划、模型训练和视频生成三个主要模块。首先，通过PhysCapBench对物理过程进行原子断言分解，并使用回忆率和精确度进行评估。然后，利用代理循环分析断言级别的错误，迭代优化生成的物理语言描述。最后，通过语言引导检索来补充缺失的物理过程，提升生成视频的多样性和准确性。
关键创新：Physis-Lang的核心创新在于将物理语言作为优化的共享表示，打破了传统方法对多模态信号的依赖，提供了一种新的物理知识表示方式。
关键设计：在PhysCapBench中，采用了回忆率和精确度作为评估指标，确保生成的物理描述具备高质量。同时，设计了代理循环机制，以便在生成过程中不断修正和优化物理语言的表达。
🖼️ 关键图片
📊 实验亮点
在四个物理视频基准的实验中，Physis-Lang显著提升了物理合理性，尤其是在使用开源Cosmos3-Nano模型时，超越了领先的商业模型Veo 3.1，展现出更强的生成能力和准确性。
🎯 应用场景
Physis-Lang的研究成果在多个领域具有潜在应用价值，包括机器人视觉、自动驾驶、虚拟现实和增强现实等。通过提升视频生成的物理合理性，该框架能够为智能系统提供更可靠的环境理解和决策支持，推动相关技术的进步与应用。
📄 摘要（原文）
Video world models are expected to predict how the physical world evolves, yet they often produce visually plausible videos that violate basic physical principles. Existing approaches commonly assume that natural language is insufficient to represent the physical knowledge required for reliable generation, and therefore introduce additional visual, latent, numerical, or planning-based signals. We revisit this assumption and introduce Physis-Lang, a self-evolving framework that treats physical language as a shared and optimizable representation across data curation, model training, and video generation. Physis-Lang represents physical processes through language that describes their relevant entities, causes, interactions, governing principles, temporal evolution, and effects. To improve this representation, we construct PhysCapBench, which decomposes physical processes into atomic assertions and evaluates captions using recall and precision. An agentic loop iteratively analyzes assertion-level errors and refines the instruction used to produce physical captions. Physis-Lang further converts model deficiencies into textual descriptions and uses language-guided retrieval to identify visually diverse videos that cover missing physical processes. Experiments on four widely used physical video benchmarks with Wan and Cosmos backbones demonstrate consistent improvements in physical plausibility. Notably, starting from open-source Cosmos3-Nano backbones, our Physis-Lang-enhanced models surpass the leading proprietary Veo 3.1 model.