PRISM-VLM: A Multi-Axis Discriminative Benchmark for Compact Vision-Language Models

📄 arXiv: 2609.27395v1 📥 PDF

作者: Sanghee Park, Kee-Eung Kim

分类: cs.CL

发布日期: 2026-09-23

备注: Accepted to EMNLP 2026 Findings. 29 pages, 22 figures, 21 tables

💡 一句话要点

提出PRISM-VLM以解决紧凑型视觉语言模型评估不足问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉语言模型 多模态评估 模型比较 行为鲁棒性 能力瓶颈 PScore 评估基准

📋 核心要点

  1. 现有的视觉语言模型评估方法过于依赖单一准确率，导致模型间的比较不够全面。
  2. 本文提出PRISM-VLM，通过七个维度对模型进行多轴评分，综合评估模型的多种能力和行为特征。
  3. 实验结果显示，PRISM-VLM在模型对比上更为可靠，能够揭示模型间的行为差异，尤其是在单一准确率相似的情况下。

📝 摘要（中文）

紧凑型视觉语言模型（VLMs）在多模态应用中占据越来越重要的地位。然而，现有的基准测试往往采用单一准确率的方式进行评估，这限制了模型间的比较。为此，本文提出了PRISM-VLM，一个多轴判别基准，沿七个维度对每个模型进行评分，涵盖了常见的失败模式，并将这些评分合并为一个PScore。通过对过去两年内的紧凑型VLM进行评估，PRISM-VLM在模型对比上表现出更高的可靠性，尤其在行为差异方面，揭示了单一准确率无法体现的细微差别。我们将发布完整的评估流程、提示和逐项注释。

🔬 方法详解

问题定义：现有的视觉语言模型评估方法主要依赖单一准确率，导致模型间的比较不够全面，无法充分反映模型的多样性和行为特征。

核心思路：PRISM-VLM通过引入七个评估维度，综合考虑任务质量、行为鲁棒性和能力瓶颈等因素，从而提供更全面的模型评估。

技术框架：PRISM-VLM的整体架构包括多个评估模块，每个模块针对不同的评估维度进行评分，最终将这些评分合并为一个综合的PScore。

关键创新：PRISM-VLM的主要创新在于其多轴评分机制，能够揭示模型间的细微差异，尤其是在单一准确率相似的情况下，提供更深入的分析。

关键设计：在设计中，PRISM-VLM采用了逐项引导的引导方法，结合了来自十五个公共基准的数据，确保了评估的全面性和准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，PRISM-VLM在模型对比中表现出更高的可靠性，尤其是在使用逐项配对自助法时，能够更清晰地揭示模型间的行为差异。即使在PScore统计上相似的模型，其在各个维度的表现也可能存在显著差异，特别是在对待用户请求的态度上。

🎯 应用场景

PRISM-VLM的多轴评估方法可广泛应用于多模态学习领域，尤其是在需要对模型进行细致比较的场景中，如图像描述生成、视觉问答等。其评估结果能够帮助研究人员更好地理解模型的优缺点，从而推动模型的进一步优化和应用。

📄 摘要（原文）

Compact vision-language models (VLMs) now power a growing share of multimodal applications. The benchmarks used to compare them, however, inherit a frontier-centric design: each model is reduced to a single accuracy number, narrowing the inter-model gap on saturated suites and pressing models into low-score bands on harder ones. We introduce PRISM-VLM, a multi-axis discriminative benchmark that scores every item along seven axes covering the recurring failure modes (task quality, behavioral robustness, and capability bottlenecks) and combines them into a single PScore, with items recycled from fifteen public benchmarks. Across compact VLMs from the past two years, PScore separates model pairs more reliably than prior single-axis benchmarks under an item-level paired bootstrap, and surfaces behavioral differences these benchmarks average away. Even models with statistically indistinguishable PScores diverge sharply along the per-axis profile, particularly on sycophancy, which is nearly orthogonal to single-prompt accuracy. We will release the full pipeline, prompts, and per-item annotations.