HappyWorld-Bench
作者: Zhiqi Bai, Junai Cai, Yixin Chen, Jingrun Du, Tao Feng, Wei Gong, Siyuan Huang, Xiao Lin, Jiaheng Liu, Jun Luo, Yongzhe Lyu, Liya Ma, Zenan Meng, Lin Qu, Wenbo Su, Jiaming Wang, Qinghe Wang, Shaofei Wang, Yanghai Wang, Zequn Wang, Ziming Wang, Hu Wei, Jiangtao Wu, Ruiqi Wu, Jiaxin Xie, Yuchi Xu, Ze Xu, Chengting Yu, Liangyu Yuan, Gang Zeng, Yawen Zeng, Xingyao Zhang, Zizheng Zhang, Bo Zheng, Jiancheng Zhu, Song-Chun Zhu
分类: cs.CV
发布日期: 2026-09-21
💡 一句话要点
提出HappyWorld-Bench以评估世界模型的可靠性与一致性问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 世界模型 基准测试 交互一致性 视频模型 空间模型 具身模型 Elo评分 行为评估
📋 核心要点
- 现有世界模型在生成质量与交互一致性方面存在显著不足，尤其在长时间交互中表现不佳。
- 论文提出HappyWorld-Bench基准，通过六个世界能力的分层框架评估模型在不同交互场景下的可靠性。
- 实验结果显示，视频模型在延长回放中一致性降低，空间模型的放置准确率最高仅为70.14%，具身模型在多步动作中状态保持困难。
📝 摘要（中文）
评估世界模型需要考量其生成世界的质量以及在探索、交互和修改过程中的一致性与响应能力。我们提出了HappyWorld-Bench，这是一个全面的基准测试，旨在评估生成的世界在代理交互时的可靠性。该设计基于六个世界能力的分层框架，涵盖生成构建到统一世界建模，分为视频世界模型、空间世界模型和具身世界模型三个独立评估轨道。HappyWorld-Bench包含1138个视频提示、300个空间场景和254个具身测试案例。通过HappyWorld-Arena，我们组织人类A/B比较并得出模型级Elo评分，辅以新设计的自动化指标来捕捉行为正确性。结果显示，所有三个轨道仍存在可靠性差距，强调了评估世界模型不仅要关注视觉质量，还需关注状态一致性及其对动作和干预的响应正确性。
🔬 方法详解
问题定义：本论文旨在解决现有世界模型在生成质量与交互一致性方面的不足，尤其是在长时间交互和复杂场景下的表现不佳。
核心思路：通过构建HappyWorld-Bench基准，采用分层能力框架评估模型的可靠性，确保在多种交互场景下的有效性和一致性。
技术框架：整体架构包括三个评估轨道：视频世界模型、空间世界模型和具身世界模型，每个轨道下设定了相应的测试案例和评估指标。
关键创新：最重要的创新在于引入了基于人类A/B比较的Elo评分系统，结合自动化指标，全面评估模型的行为正确性与一致性。
关键设计：在设计中，设置了1138个视频提示、300个空间场景和254个具身测试案例，采用新设计的自动化指标来捕捉模型的行为表现。具体的损失函数和网络结构细节在论文中进行了详细描述。
🖼️ 关键图片
📊 实验亮点
实验结果表明，视频模型在延长回放中一致性降低，空间模型的放置准确率最高仅为70.14%，具身模型在多步动作中状态保持困难，显示出当前模型在实际应用中的可靠性差距。
🎯 应用场景
该研究的潜在应用领域包括游戏开发、虚拟现实和机器人交互等，能够为生成世界模型的设计与评估提供系统化的标准和方法，推动相关技术的发展与应用。
📄 摘要（原文）
Evaluating world models requires assessing both the quality of the worlds they generate and their consistency and responsiveness under exploration, interaction, and modification. We introduce HappyWorld-Bench, a comprehensive benchmark that evaluates whether generated worlds remain reliable as agents interact with them. Our design is built on a hierarchical capability framework of six world capabilities (W1-W6), from generative construction to unified world modeling, instantiated across three independent evaluation tracks: video world models, spatial world models, and embodied world models. HappyWorld-Bench comprises 1,138 video prompts, 300 spatial scenes, and 254 embodied test cases. Across all three tracks, we build and operate HappyWorld-Arena to organize human A/B comparisons and derive model-level Elo ratings, which complement newly designed automated metrics that capture behavioral correctness. We evaluate 14 video world models, 9 spatial systems, and 8 embodied candidates under this unified framework. Results reveal remaining reliability gaps across all three tracks: video models exhibit reduced consistency during extended rollouts and revisits, spatial models achieve at best 70.14% placement accuracy and 73.33% edit execution, and embodied models struggle to preserve state across multi-step actions and respond precisely to altered action conditions and physical rules. These findings highlight the need to evaluate world models not only by visual quality, but also by state consistency and the correctness of their responses to actions and interventions.