World Embedding Benchmark
作者: Yiqi Liu, Ruifeng Yuan, Yang Wang, Long Li, Fengyu Cai, Hou Pong Chan, Jialin Yu, Hao Zhang, Chenghua Lin, Chenghao Xiao
分类: cs.CV, cs.CL
发布日期: 2026-10-02
💡 一句话要点
提出世界嵌入基准以评估视频生成中的物理信息编码
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 物理真实感 视频生成 多模态学习 对比训练 嵌入模型 仿真案例 信息编码 任务评估
📋 核心要点
- 现有方法对视频表示如何编码物理信息的理解不足，导致物理真实感的生成效果不佳。
- 论文提出世界嵌入基准，通过8000个仿真案例和多种任务来评估视频中的物理信息编码能力。
- 实验结果显示，轻量探针能够有效恢复物理信息，而对比训练在检索和分类上有提升，但物理属性回归效果下降。
📝 摘要（中文）
物理真实感在世界模型和视频生成中受到越来越多的关注，但视频表示如何编码物理信息仍然不够清晰。我们引入了世界嵌入基准，包含来自80个家族的8000个受控仿真案例，涵盖流体力学、固体力学、动力学及光学与电磁学。每个案例都配有渲染视频和仿真衍生的物理注释，支持文本-视频检索、物理属性回归和多选视频描述对分类三项互补任务。评估的预训练全模态嵌入模型在检索和同类对分类中表现较弱，而轻量探针从冻结的视频嵌入中恢复有用的物理信息。持续的对比训练与物理特定的视频-文本对结合，改善了检索和对分类，但降低了物理属性回归的效果，揭示了对齐与定量信息恢复之间的权衡。最后，我们利用嵌入检索参考视频以增强生成视频的物理真实感，结果显示更强的检索模型在实验中带来了更大的提升。这些发现强调了同时评估物理对齐和属性恢复的必要性，并展示了物理表示在改善视频生成中的实用性。
🔬 方法详解
问题定义：本论文旨在解决视频表示中物理信息编码不足的问题。现有方法在物理真实感生成方面表现不佳，缺乏有效的评估标准。
核心思路：通过构建世界嵌入基准，结合多种任务（如文本-视频检索和物理属性回归），来全面评估视频中的物理信息编码能力。
技术框架：整体架构包括数据集构建、任务设计和模型评估三个主要模块。数据集包含8000个仿真案例，任务设计支持多种评估方式，模型评估则使用预训练的全模态嵌入模型和轻量探针。
关键创新：最重要的创新在于引入了物理特定的视频-文本对进行持续对比训练，揭示了物理对齐与定量信息恢复之间的权衡，提供了新的评估视角。
关键设计：在模型设计中，采用轻量探针来从冻结的视频嵌入中恢复物理信息，并通过对比损失函数来优化检索和分类性能。
🖼️ 关键图片
📊 实验亮点
实验结果表明，轻量探针在恢复物理信息方面表现优异，而预训练的全模态嵌入模型在检索和分类任务中接近随机水平。持续对比训练提高了检索和分类性能，但物理属性回归效果有所下降，揭示了不同任务之间的权衡关系。
🎯 应用场景
该研究的潜在应用领域包括教育、虚拟现实和游戏开发等，能够通过提高视频生成的物理真实感，增强用户体验和学习效果。未来，该基准可能推动更多关于物理信息编码的研究，促进相关技术的进步。
📄 摘要（原文）
Physical fidelity has received increasing attention in world models and video generation, yet how video representations encode physical information remains less understood. We introduce the World Embedding Benchmark, comprising 8,000 controlled simulation cases from 80 families spanning fluid mechanics, solid mechanics, dynamics, and optics & electromagnetism. Each case pairs a rendered video with simulation-derived physical annotations, supporting three complementary tasks: text-video retrieval, physical-property regression, and multiple-choice video-description pair classification. We use these tasks to distinguish cross-modal physical alignment from the recoverability of quantitative physical information. Evaluated pre-trained omnimodal embedding models show weak retrieval and near-chance within-family pair classification, while lightweight probes recover useful physical information from frozen video embeddings. Continual contrastive training with physics-specific video-text pairs improves retrieval and pair classification but degrades physical-property regression, revealing a trade-off between alignment and quantitative information recoverability. Finally, we use the embeddings to retrieve reference videos for retrieval-augmented generation with MiniMax-H3. Retrieved references improve the physical fidelity of generated videos, with stronger retrieval models yielding larger gains in our experiments. Together, these findings highlight the need to evaluate physical alignment and property recoverability jointly, and demonstrate the utility of physical representations for improving video generation.