Dual Exam: Controlled Evaluation of Multimodal Agents and World Models
作者: Zhefan Rao, Meng Chu, Xuan Zhang, Jingfan Chen, Guohao Cai, Runyi Li, Shiyi Du, Ning Lu, Xu Huang, Zhixuan Chen, Feng Nie, Harold Haodong Chen, Hanwen Wang, Wen-Jie Shu, Yajing Bai, Xianfeng Wu, Xuanhua He, Shuhan Guo, Ziyue Ma, Ruichuan An, Long Bai, Miaosen Chai, Wenhao Chai, Jingye Chen, Qi Chen, Xuhang Chen, Wei Chow, Minghao Fu, Yunhao Gou, Haokun Gui, Dong Huang, Wei Huang, Zi Cheng Huang, Haibo Jin, Lingdong Kong, Leung Chun Ho, Tianqin Li, Yanheng Li, Jiayuan Liu, Jiyang Liu, Mingyu Liu, Shaoteng Liu, Xiaocheng Lu, Yawen Luo, Zeyu Qin, Tiancheng Shen, Yueqi Song, Zhaolong Su, Hengkai Tan, Tianhao Tang, Yiran Tao, Juncheng Wang, Qinghe Wang, Shangshang Wang, Yingying Wang, Fang Wu, Tiange Xiang, Qiushi Yang, Weicai Ye, Weichen Yu, Jiarui Zhang, Jize Zhang, Liuzhou Zhang, Renrui Zhang, Sheng Zhang, Wenhu Zhang, Junru Zhao, Lingting Zhu, Yuxin Zuo, Yutong Bai, Long Chen, Yang Deng, Ziqi Huang, Yeying Jin, Weijia Li, Kevin Qinghong Lin, Quande Liu, See-Kiong Ng, Hongliang Ren, Hongru Wang, Shujun Wang, Qifeng Chen, Haoxuan Che
分类: cs.AI
发布日期: 2026-10-22
💡 一句话要点
提出Dual Exam以评估多模态智能体与世界模型的交互
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态智能体 世界模型 交互评估 系统性评估 人工智能 实验设计 任务执行
📋 核心要点
- 现有方法在评估多模态智能体与世界模型的交互时缺乏系统性，难以获取有效的证据。
- 本文提出Dual Exam，通过固定环境和动作干预机制，系统评估智能体与世界模型的交互表现。
- 实验结果显示，智能体和世界模型在不同配置下的表现存在显著差异，初步实验未能取得成功，提示需进一步诊断。
📝 摘要（中文）
世界模型（WMs）可以通过模拟经验支持多模态智能体（MAs），而智能体的轨迹则可以为世界模型的优化提供信息。评估这种交互需要分别获取关于动作选择和状态演变的证据。本文提出Dual Exam，测试智能体在固定环境响应机制下的表现，以及世界模型在固定动作干预下的表现，涵盖物理、数字、社会和科学等多个领域。智能体轨道比较了10种配置在15个报告类别下的1,088个项目，而世界模型轨道则包含400个案例，覆盖八种场景。实验结果显示，GPT 6 Astra在智能体指数中领先，得分为31.3，而GPT-Image-2在世界模型整体中领先，得分为21.7。这些分数使用不同的任务和指标，无法直接比较。初步实验记录的150个案例中没有任务成功，促使对组件级别的诊断。结果揭示了任务表现不均和未能保持任务相关状态的问题。
🔬 方法详解
问题定义：本文旨在解决多模态智能体与世界模型交互评估中的系统性不足，现有方法未能有效捕捉动作选择与状态演变的独立证据。
核心思路：Dual Exam通过设定固定的环境响应机制和动作干预，提供一种结构化的评估框架，以便更清晰地理解智能体与世界模型之间的相互作用。
技术框架：整体架构包括两个主要轨道：智能体轨道和世界模型轨道。智能体轨道比较了10种配置下的表现，而世界模型轨道则涵盖了400个案例，涉及八种不同场景。
关键创新：最重要的创新在于通过Dual Exam框架实现了对智能体与世界模型交互的系统性评估，填补了现有方法在评估过程中的空白。
关键设计：在实验中，采用了多种配置和场景设置，确保了评估的全面性和多样性。具体的参数设置和损失函数设计尚未详细披露，需进一步研究。
🖼️ 关键图片
📊 实验亮点
实验结果显示，GPT 6 Astra在智能体指数中得分31.3，领先于其他配置，而GPT-Image-2在世界模型整体中得分21.7，表现优异。初步实验的150个案例未能取得成功，提示了现有方法在任务执行中的不足。
🎯 应用场景
该研究的潜在应用领域包括智能体系统的开发、机器人技术、以及多模态交互的优化等。通过系统评估智能体与世界模型的交互，可以为未来的智能系统设计提供重要的理论基础和实践指导，推动人工智能技术的进步。
📄 摘要（原文）
World Models (WMs) can support Multimodal Agents (MAs) through simulated experience, while Agent trajectories can inform World Model refinement. Evaluating this interaction requires separate evidence about action selection and state evolution. We introduce Dual Exam, which tests Agents under fixed environment response mechanisms and World Models under fixed action interventions across physical, digital, social, and scientific domains. The Agent track compares 10 configurations on 1,088 items in 15 reporting categories. The World Model track contains 400 cases across eight scenarios; 15 configurations have full coverage and one covers six scenarios. GPT 6 Astra leads the case-weighted Agent Index at 31.3, and GPT-Image-2 leads the full-coverage WM Overall at 21.7. These scores use different tasks and metrics and are not directly comparable. A 150-case pilot of one coupled pairing records zero task successes and motivates component-level diagnosis. Results reveal uneven task performance and failures to preserve task-relevant state. Their value for predicting coupled success or sustained reciprocal learning remains to be established.