An Exam for Active Observers
作者: Jiarui Zhang, Muzi Tao, Shangshang Wang, Ollie Liu, Xuezhe Ma, Willie Neiswanger
分类: cs.CV, cs.AI, cs.CL, cs.LG
发布日期: 2026-07-20
💡 一句话要点
提出ActiveVision基准以评估多模态大语言模型的主动观察能力
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 主动观察 多模态大语言模型 视觉感知 任务设计 计算机视觉
📋 核心要点
- 当前的视觉-语言基准未能有效评估多模态大语言模型的主动观察能力，导致其在复杂任务中的表现不佳。
- 本文提出ActiveVision基准，通过设计17个任务，迫使模型进行多次视觉感知，而非仅依赖单一静态描述。
- 实验结果显示，前沿MLLMs在ActiveVision上的表现远低于人类参与者，揭示了其在主动视觉观察方面的不足。
📝 摘要（中文）
人类视觉是一个闭环：注视点由中间假设不断重定向，而非单一快照。现有的视觉-语言基准未能评估多模态大语言模型（MLLMs）是否具备主动观察能力。为此，本文提出了ActiveVision基准，包含17个任务，分为3个类别，旨在强制模型进行重复的视觉感知。实验结果显示，当前的前沿MLLMs在ActiveVision上表现不佳，最高得分模型GPT-5.5仅解决了10.6%的任务，且在11个任务上得分为零，远低于人类参与者的平均96.1%。这些结果表明，现有MLLMs缺乏稳健的主动视觉观察能力，推动了需要改进的架构和训练目标。
🔬 方法详解
问题定义：本文旨在解决当前多模态大语言模型（MLLMs）在主动观察能力评估中的不足。现有方法未能有效测量模型在复杂视觉任务中的表现，导致模型在实际应用中存在显著缺陷。
核心思路：论文提出ActiveVision基准，通过设计一系列任务，要求模型进行重复的视觉感知，以此来评估其主动观察能力。这种设计旨在模拟人类视觉的闭环特性，强调动态信息处理的重要性。
技术框架：ActiveVision基准包含17个任务，分为3个类别，任务设计旨在迫使模型进行多次视觉输入和输出的交互。整体流程包括任务选择、模型输入、视觉处理和结果评估等主要模块。
关键创新：最重要的技术创新在于引入了主动观察的概念，并通过具体任务设计使其可测量。这与现有方法的本质区别在于，现有方法通常依赖于静态图像描述，而ActiveVision强调动态交互。
关键设计：在任务设计中，模型需要反复进行视觉感知，且每个任务的难度和复杂性逐步增加。此外，评估标准不仅包括正确率，还考虑模型在处理复杂场景时的反应能力和适应性。通过这些设计，ActiveVision能够有效评估模型的主动观察能力。
🖼️ 关键图片
📊 实验亮点
实验结果显示，当前前沿的多模态大语言模型在ActiveVision基准上的表现不佳，最高得分的GPT-5.5仅解决了10.6%的任务，而人类参与者的平均得分为96.1%。这些结果突显了现有模型在主动视觉观察方面的显著不足，表明需要新的架构和训练目标。
🎯 应用场景
该研究的潜在应用领域包括计算机视觉、机器人导航、智能监控等。通过提升多模态大语言模型的主动观察能力，可以显著改善其在复杂环境中的决策和反应能力，进而推动智能系统的实际应用和发展。
📄 摘要（原文）
Human vision is a closed loop: gaze is continuously redirected by intermediate hypotheses rather than a single snapshot. Decades of psychophysics and cognitive science have argued that this active observation is essential for a wide range of tasks. Whether today's multimodal large language models (MLLMs) exercise active observation is an empirical question that current vision-language benchmarks do not answer. We introduce ActiveVision, a benchmark that makes active observation measurable for MLLMs, comprising 17 tasks across 3 categories. Tasks are designed to force repeated visual perception rather than a single static description. Frontier MLLMs collapse on ActiveVision: the highest-scoring model we evaluate, GPT-5.5 at the highest exposed reasoning-effort tier, solves only 10.6% of items and scores zero on 11 of the 17 tasks, and even Claude Fable 5, despite topping most reasoning and coding leaderboards, solves just 3.5%, far behind three human participants who average 96.1%. Furthermore, much of the gap persists even when models write and run their own vision code: such code is unreliable on realistic imagery, and catching its failures itself requires the active perception the models lack. Together, these results indicate that current MLLMs lack robust active visual observation, motivating architectures and training objectives that close the perception-reasoning loop.