OPIS: An Input-Grounded Benchmark for Multi-Object Memory in Video World Models
作者: Hao Wang, Tao Yu, Liuzhou Zhang, HeXin Wang, Haopeng Jin, Yuxuan Zhou, Xinming Wang, Hongzhu Yi, Xinye Li, Yuanlei Wang, Ping Nie, Yan Huang, Yuxuan Zhang, Pengfei Zhou, Yanyan Zou, Wei Yang
分类: cs.CV, cs.AI
发布日期: 2026-09-28
💡 一句话要点
提出OPIS基准以评估视频世界模型中的多对象记忆能力
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 视频世界模型 多对象记忆 评估基准 对象识别 机器人视觉 动态评估 可见性推理
📋 核心要点
- 现有的视频世界模型评估方法依赖生成历史和选择视角，无法准确评估模型的记忆能力。
- 本文提出OPIS基准，通过固定对象实例集来评估多对象记忆，提供更为严格的评估标准。
- 实验结果表明，随着对象数量的增加，模型在对象存在、身份和结构的识别能力显著下降，验证了方法的有效性。
📝 摘要（中文）
视频世界模型需要在时间上保持世界的视觉状态，但现有评估协议往往依赖于生成的历史、视频参考或选择的重访视角，这可能混淆模型真实记忆能力的评估。为了解决这个问题，本文提出了OPIS，一个输入基础的基准，严格将评估锚定在初始观察的固定对象实例集上，以评估视频世界模型中的多对象记忆。OPIS数据集包含500个案例，涵盖真实世界、具身机器人和游戏世界领域，为12,672个刚性、关节和可变形实例提供了密集的对象级注释。我们的对象中心评估器结合了关联和显式可见性推理，分层测量对象的存在、身份和结构，利用基于对象运动学的静态或动态评估轨迹。实验结果显示，随着参考库存从少于20个对象增加到超过40个对象，存在、身份和结构分数整体下降，平均身份分数从40.22降至23.11，表明在输入中保留特定对象实例比生成合理的视觉元素要困难得多。
🔬 方法详解
问题定义：本文旨在解决现有视频世界模型评估方法的不足，特别是如何准确评估模型的多对象记忆能力。现有方法常常依赖于生成的历史或选择的视角，导致评估结果不够可靠。
核心思路：论文提出OPIS基准，通过固定的对象实例集来进行评估，确保评估过程与初始观察相一致，从而更准确地反映模型的记忆能力。
技术框架：OPIS基准的整体架构包括数据集构建、对象中心评估器和评估指标。数据集包含500个案例，评估器结合了对象的存在、身份和结构的测量，使用静态和动态评估轨迹。
关键创新：最重要的创新在于提出了一个输入基础的评估框架，能够在多对象场景中准确测量模型的记忆能力，与传统方法相比，显著提高了评估的可靠性。
关键设计：在评估过程中，采用了对象运动学来设计评估轨迹，并结合了关联和可见性推理，确保评估的全面性和准确性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，在八种图像到视频或相机条件下的世界模型中，OPIS得分范围为48.65到56.01。随着参考对象数量的增加，模型在对象存在、身份和结构的识别能力显著下降，平均身份分数从40.22降至23.11，验证了方法的有效性和挑战性。
🎯 应用场景
该研究的潜在应用领域包括机器人视觉、自动驾驶、虚拟现实等，能够帮助提升这些领域中模型的记忆能力和环境理解能力。未来，OPIS基准可能成为多对象记忆评估的标准工具，推动相关技术的发展。
📄 摘要（原文）
Video world models must preserve the visual state of the world over time, but existing evaluation protocols often rely on generated histories, video reference, or selected revisit viewpoints that can confound the assessment of a model's true memory capability. To address this, we introduce OPIS, an input-grounded benchmark that strictly anchors the assessment to a fixed set of object instances from the initial observation for evaluating multi-object memory in video world models. The OPIS dataset comprises 500 cases across real-world, embodied-robotic, and game-world domains, providing dense object-level annotations for 12,672 rigid, articulated, and deformable instances. Our object-centric evaluator combines association and explicit visibility reasoning to hierarchically measure Object (O) Presence (P), Identity (I), and Structure (S), utilizing static or dynamic evaluation tracks based on object kinematics. Across eight image-to-video or camera-conditioned world models, our proposed OPIS scores range from 48.65 to 56.01. As the reference inventory grows from less than 20 to more than 40 objects, the Presence, Identity, and Structure scores show an overall decline, with the average Identity score falling from 40.22 to 23.11. The results demonstrate that preserving the particular object instances in the input is considerably harder than generating plausible visual elements.