VisualWorldBench: A Fine-Grained Multi-Task Benchmark for Evaluating Visual World Knowledge in MLLMs
作者: Chen Chen, Zheming Liang, Jiaqi Wang
分类: cs.CV
发布日期: 2026-10-14
💡 一句话要点
提出VisualWorldBench以解决多模态大语言模型的视觉知识评估问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态大语言模型 视觉知识评估 层次分类法 闭集识别 精确定位 开放命名 对比选择 细粒度推理
📋 核心要点
- 现有基准在类别覆盖上较窄，无法充分反映真实世界的视觉实体多样性。
- 本文提出VisualWorldBench，基于层次分类法构建，涵盖多个视觉领域和任务，旨在精确评估视觉知识。
- 通过在VisualWorldBench-50K上进行微调，模型在VisualWorldBench上的表现提升超过21个百分点，显示出显著的迁移能力。
📝 摘要（中文）
视觉世界知识是多模态大语言模型（MLLMs）的核心能力，支撑着知识密集型的视觉问答和细粒度视觉推理。然而，现有基准在类别覆盖和任务构建上存在不足。为此，本文提出了VisualWorldBench，一个基于层次分类法的多任务基准，涵盖21,291个叶节点类和32,541个评估实例，涉及15,479个类别，包含闭集识别、对比选择、精确定位和开放命名四个任务，全面评估视觉世界知识。实验表明，最强的闭源模型仅达到80.4%的平均准确率，揭示了传统基准下隐藏的能力差距。
🔬 方法详解
问题定义：本文旨在解决现有多模态大语言模型在视觉知识评估中的不足，特别是在类别覆盖和任务构建的局限性。现有基准往往只能通过粗略线索或模糊关联进行评估，难以准确反映模型对细粒度实体的掌握。
核心思路：本文提出VisualWorldBench，构建了一个基于层次分类法的多任务基准，涵盖21,291个叶节点类，32,541个评估实例，设计了四个互补任务，以全面评估视觉世界知识。通过强制模型在相似类别间进行精确区分，提升评估的严谨性。
技术框架：VisualWorldBench的整体架构包括四个主要模块：闭集识别、对比选择、精确定位和开放命名。这些模块分别针对不同的知识检索方向和答案开放程度，确保全面评估模型的视觉知识能力。
关键创新：本文的主要创新在于构建了一个涵盖广泛类别和任务的多任务基准，特别是通过层次分类法的设计，迫使模型在细粒度实体间进行精确区分，这与现有方法的粗糙评估形成鲜明对比。
关键设计：在设计中，采用了32,541个评估实例，确保每个任务的多样性和挑战性。损失函数和网络结构的具体细节未在摘要中详细说明，但可以推测其设计旨在优化模型在不同任务上的表现。
🖼️ 关键图片
📊 实验亮点
实验结果显示，最强的闭源模型在VisualWorldBench上的平均准确率仅为80.4%，揭示了传统基准下隐藏的能力差距。此外，通过在VisualWorldBench-50K上进行微调，模型的表现提升超过21个百分点，展现了显著的迁移能力。
🎯 应用场景
该研究的潜在应用领域包括智能问答系统、视觉搜索引擎和自动图像标注等。通过提升多模态大语言模型在视觉知识方面的评估能力，能够为实际应用提供更准确的视觉理解和推理能力，推动相关技术的发展与应用。
📄 摘要（原文）
Visual world knowledge is a core capability of multimodal large language models (MLLMs), underpinning knowledge-intensive visual question answering and fine-grained visual reasoning. However, existing benchmarks remain limited in two key respects. First, their category coverage is narrow: most benchmarks span only a small number of categories across a few domains, falling far short of the open-ended scale of real-world visual entities. Second, their task construction is often insufficiently rigorous: models can answer correctly using coarse-grained cues, vague associations, or elimination strategies without truly mastering precise concepts, making it difficult to accurately assess their knowledge of fine-grained entities. We introduce VisualWorldBench, a taxonomy-grounded multi-task benchmark built on a hierarchical taxonomy of 21,291 leaf-node classes across 8 visual domains, with 32,541 evaluation instances whose ground-truth labels cover 15,479 categories across four complementary tasks: closed-set recognition, contrastive selection, precise localization, and open-world naming, covering different directions of knowledge retrieval and varying degrees of answer openness to comprehensively evaluate visual world knowledge. Most questions are constructed from taxonomically proximate categories, forcing precise discrimination among fine-grained entities. Experiments reveal that the strongest closed-source model achieves only 80.4% average accuracy, exposing capability gaps hidden under conventional benchmarks. We further construct VisualWorldBench-50K, a training resource covering 50K+ categories. Fine-tuning on VisualWorldBench-50K yields over 21 percentage points improvement on VisualWorldBench, with consistent transfer to public fine-grained recognition and visual knowledge benchmarks.