Hierarchical Compression of Vision-Language Model Benchmarks

📄 arXiv: 2609.37515v1 📥 PDF

作者: Hyunjong Ok, Seunggu Kang, Jaeho Lee

分类: cs.LG, cs.AI, cs.CL, cs.CV

发布日期: 2026-09-29

备注: Preprint

💡 一句话要点

提出PRIMEBench以降低视觉语言模型基准评估成本

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉语言模型 基准压缩 多模态评估 层次化框架 评估成本降低 视觉感知方差 模型排名保真度

📋 核心要点

  1. 现有的视觉语言模型评估方法成本高昂，且随着新模型的不断涌现，评估变得愈加复杂。
  2. 本文提出的PRIMEBench框架通过层次化的方式压缩基准，包含数据清理、类别选择和项修剪等步骤，有效降低评估成本。
  3. 实验结果显示，在保留5%项的情况下，PRIMEBench的模型排名保真度最高，且能够去除超过97%的评估项。

📝 摘要（中文）

随着视觉语言模型（VLMs）能力的不断扩展，评估这些模型的成本变得极为昂贵。尽管语言模型的基准压缩方法已有深入研究，但对于VLMs的相关研究仍显不足。本文提出了PRIMEBench（多模态评估的冗余项修剪），这是一个视觉感知的层次基准压缩框架，能够在显著降低评估成本的同时保持模型排名。该框架分为四个阶段：数据清理、类别代表选择、基于视觉感知方差的项修剪和类别计数修剪。实验表明，在保留5%项的情况下，模型的平均保真度最高，且框架设计允许用户根据计算预算在任意阶段停止，最终实现去除97%以上的项而不影响模型排名。

🔬 方法详解

问题定义：本文旨在解决视觉语言模型评估成本高、效率低的问题。现有方法在面对不断增加的模型和评估项时，难以保持评估的有效性和经济性。

核心思路：PRIMEBench通过层次化的压缩策略，结合视觉感知方差，优化评估项的选择，确保在降低成本的同时保持模型排名的准确性。

技术框架：该框架分为四个主要阶段：1) 数据清理，去除无需图像即可回答的项和全对项；2) 类别代表选择，从每个能力类别中选择一个基准；3) 基于视觉感知方差的项修剪，结合模型间方差和视觉依赖评分；4) 类别计数修剪，进一步优化评估项数量。

关键创新：最重要的创新在于引入了视觉感知方差（VAW），它结合了多模态嵌入的视觉依赖评分，确保了评估项的多样性和覆盖率。与传统方法相比，PRIMEBench在保持模型排名的同时，显著减少了评估项的数量。

关键设计：在项修剪过程中，VAW的计算依赖于多模态嵌入，确保了模型间的方差被有效利用。此外，框架设计允许用户根据计算预算在任意阶段停止，从而灵活调整评估策略。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果显示，PRIMEBench在保留5%评估项的情况下，模型排名的平均保真度达到了最高水平。此外，该框架成功去除了超过97%的评估项，显著降低了评估成本，展示了其在多模态评估中的有效性。

🎯 应用场景

PRIMEBench框架具有广泛的应用潜力，尤其适用于需要高效评估视觉语言模型的场景，如自动驾驶、智能监控和人机交互等领域。通过降低评估成本，该框架能够加速新模型的开发与部署，推动多模态AI技术的进步。未来，PRIMEBench还可为设计更高效、稳健的基准提供指导。

📄 摘要（原文）

Thorough evaluation of vision-language models (VLMs) has become prohibitively expensive, as benchmarks span an ever-broader spectrum of capabilities and new models arrive at a relentless pace. Benchmark compression methods that preserve model rankings at a fraction of the cost are well studied for language models, but for VLMs the question remains under-explored. We present PRIMEBench (Pruning Redundant Items for Multimodal Evaluation), a vision-aware hierarchical benchmark compression framework that substantially reduces evaluation cost while preserving model rankings. This hierarchical framework operates in four stages: data cleaning to remove items answerable without the image and all-correct items, category representative selection to pick one benchmark per capability category, item pruning with Vision-Aware Variance (VAW), and category-count pruning. VAW combines inter-model variance with a vision-dependence score computed from multimodal embeddings alone, while encouraging coverage of diverse items within each benchmark. On models held out from item selection, it has the highest mean fidelity at the released 5% retention. The hierarchical design lets practitioners stop at any stage to match their compute budget; the released suite removes over 97% of items while preserving model rankings. Beyond compression, our analyses show how VLM evaluation behaves as model panels grow and evolve, providing guidance for designing future benchmarks that are more efficient, robust to model turnover, and explicit about the limits of evaluation-side pruning.