World Models' Last Exam in Physics
作者: Mingju Gao, Qingle Liu, Yuzhao Peng, Xinjie Lin, Ziming Qin, Zheng Jiang, Wenyi Li, Calvin Xiao, Youjie Zheng, Kaisen Yang, Qinhuai Na
分类: cs.CV
发布日期: 2026-10-06
💡 一句话要点
提出物理一致性基准以评估视频世界模型的可靠性
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 视频生成 物理一致性 基准测试 具身人工智能 测量评估 物理标准 模型评估
📋 核心要点
- 现有视频世界模型在生成视觉内容时，常常存在物理一致性不足的问题，影响其在实际应用中的可靠性。
- 本文提出了一种新的基准测试方法，通过设定明确的物理标准来评估视频生成模型的物理一致性，避免依赖参考视频。
- 实验结果表明，所提出的基准能够有效识别物理不一致性，并且与人类判断的结果一致性更高，提升了评估的可靠性。
📝 摘要（中文）
视频世界模型能够生成视觉上令人信服但在物理上不一致的序列，这引发了对其在具身人工智能系统中预测和规划可靠性的担忧。现有评估方法多依赖模型判断或参考视频，而直接的物理测试主要集中在力学方面。本文提出了“世界模型的最后物理考试”，这是一个基于测量的基准，用于评估视频世界模型的物理一致性。该基准包含40个控制任务，涵盖力学、光学、流体、热和相变现象、电磁学和表面张力等领域。每个任务都配有初始图像和生成提示，并设定了预定义的物理标准，从而实现可解释的物理关系测试。实验结果显示，八个视频生成模型在1280个视频中存在持续的物理不一致性，最佳模型的总得分为57.76（满分100）。
🔬 方法详解
问题定义：本文旨在解决视频世界模型在生成内容时物理一致性不足的问题。现有方法多依赖于主观判断或参考视频，缺乏系统的物理测试。
核心思路：提出“世界模型的最后物理考试”基准，通过设定明确的物理标准和控制任务，进行可解释的物理一致性评估，减少对参考视频的依赖。
技术框架：该基准包括40个控制任务，涵盖多个物理领域。每个任务由初始图像和生成提示组成，并结合任务可观察性筛选和任务特定的定量物理测量。
关键创新：最重要的创新在于引入了基于测量的评估方法，能够直接测试物理关系的可观察性，提供了更为客观和可解释的评估标准。
关键设计：评估模块结合了任务的可观察性和量化的物理测量，确保了评估的准确性和可靠性。实验中，最佳模型的得分为57.76，显示出显著的物理一致性评估能力。
🖼️ 关键图片
📊 实验亮点
实验结果表明，在1280个视频中，八个视频生成模型普遍存在物理不一致性，最佳模型的得分为57.76（满分100）。此外，评估模块在与人类判断的比较中表现出更高的一致性，验证了其有效性和可靠性，显示出该基准的潜在应用价值。
🎯 应用场景
该研究的潜在应用领域包括机器人导航、虚拟现实和增强现实等具身人工智能系统。通过提高视频生成模型的物理一致性，可以增强这些系统在真实环境中的表现和可靠性，推动智能体在复杂任务中的应用。未来，该基准有望成为评估视频生成技术的重要标准，促进相关技术的发展与应用。
📄 摘要（原文）
Video world models can produce visually convincing yet physically inconsistent sequences, raising concerns about their reliability for prediction and planning in embodied AI systems. Existing evaluations often rely on model-based judgments or reference videos, while direct physical tests largely focus on mechanics. We introduce World Models' Last Exam in Physics, a measurement-based benchmark for evaluating physical consistency in video world models. The benchmark comprises 40 controlled tasks spanning mechanics, optics, fluids, thermal and phase-change phenomena, electromagnetism, and surface tension. Each task pairs an initial image and a generation prompt with predefined physical criteria, enabling interpretable tests of observable physical relationships without requiring reference videos. Its evaluator combines task-observability screening with task-specific quantitative physical measurements. Experiments on eight video generation models across 1,280 videos reveal persistent physical inconsistencies and substantial variation across tasks, with the best model achieving an overall score of 57.76 out of 100. Evaluation on synthetic videos with known physical relationships provides evidence for the validity of the measurement module under controlled conditions. The evaluator also achieves higher agreement with human judgments than a direct vision-language model baseline in both within-task rankings and pairwise comparisons. By combining coverage across physical domains with scores grounded in measurable evidence and explicit measurement limitations, the benchmark provides an interpretable basis for diagnosing physical inconsistencies and tracking progress toward physically consistent video world models.