KBE-DME: Dynamic Multimodal Evaluation via Knowledge Enhanced Benchmark Evolution

📄 arXiv: 2510.21182v1 📥 PDF

作者: Junzhe Zhang, Huixuan Zhang, Xiaojun Wan

分类: cs.CV, cs.CL

发布日期: 2025-10-24

备注: submitting to ICLR2026

💡 一句话要点

提出KBE，通过知识增强基准演化实现多模态大模型的动态评估

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态大语言模型 动态评估 知识增强 基准演化 数据污染 数据饱和

📋 核心要点

  1. 现有静态多模态评估基准存在数据污染和饱和问题，导致模型性能评估不准确。
  2. KBE框架通过图结构表示VQA样本，并利用多模态知识动态演化基准，实现可控难度评估。
  3. 实验证明KBE能有效缓解数据污染和饱和风险，提供更全面的多模态大模型能力评估。

📝 摘要（中文）

多模态大语言模型（MLLM）的快速发展需要更可靠的评估协议。现有的静态基准测试存在数据污染和饱和的潜在风险，导致性能评估虚高或产生误导。为了解决这些问题，我们首先应用图结构来表示静态或动态的VQA样本。基于此，我们提出了知识增强基准演化（KBE），一个动态多模态评估框架。KBE首先分析原始静态基准，然后通过整合多模态知识来扩展它，将静态基准转换为可控的、动态演化的版本。关键的是，KBE既可以通过重新选择原始图像中的视觉信息来重建问题，也可以使用外部文本知识来扩展现有问题。它可以通过调整问题探索的程度来实现难度可控的评估。大量的实验表明，KBE减轻了数据污染和数据饱和的风险，并提供了对MLLM能力的更全面的评估。

🔬 方法详解

问题定义：现有的多模态大语言模型（MLLM）评估基准通常是静态的，这意味着它们使用固定的数据集来评估模型。这种静态性导致两个主要问题：数据污染，即模型可能已经在训练过程中见过这些数据，从而高估了模型的泛化能力；数据饱和，即模型在这些数据集上已经达到了性能上限，无法区分不同模型的细微差异。因此，需要一种动态的、可控的评估方法来更准确地评估MLLM的能力。

核心思路：KBE的核心思路是通过知识增强的方式，动态地演化现有的静态基准。具体来说，它利用图结构来表示VQA样本，并结合多模态知识（包括视觉信息和文本知识）来生成新的问题或修改现有问题。通过控制知识的引入方式和程度，可以实现对评估难度的控制，从而更全面地评估MLLM的能力。

技术框架：KBE框架主要包含以下几个模块：1) 图构建模块：将VQA样本表示为图结构，节点表示图像区域或文本片段，边表示它们之间的关系。2) 知识增强模块：利用外部知识库（例如知识图谱）来扩展图结构，增加节点和边的信息。3) 问题生成/修改模块：基于增强后的图结构，生成新的问题或修改现有问题。4) 难度控制模块：通过调整知识增强的程度和问题生成的策略，控制评估的难度。

关键创新：KBE的关键创新在于其动态性和可控性。与传统的静态基准相比，KBE可以根据需要生成新的问题，从而避免数据污染和饱和的问题。此外，KBE还可以通过调整知识增强的程度来控制评估的难度，从而更全面地评估MLLM的能力。KBE通过动态演化基准，使得评估更具挑战性和区分度。

关键设计：在图构建模块中，可以使用不同的图神经网络（GNN）来学习节点和边的表示。在知识增强模块中，可以使用不同的知识图谱嵌入方法来将外部知识融入到图结构中。在问题生成/修改模块中，可以使用不同的序列生成模型（例如Transformer）来生成新的问题。难度控制可以通过调整知识增强模块中引入的知识量以及问题生成模块中使用的采样策略来实现。

📊 实验亮点

实验结果表明，KBE能够有效缓解数据污染和饱和的风险，并提供对MLLM能力的更全面的评估。具体来说，KBE在多个VQA数据集上进行了测试，结果表明，使用KBE评估的MLLM性能与使用静态基准评估的性能存在显著差异，表明KBE能够更准确地反映模型的真实能力。此外，实验还表明，KBE可以通过调整难度来区分不同MLLM的细微差异。

🎯 应用场景

KBE框架可应用于多模态大语言模型的可靠评估，帮助研究人员更准确地了解模型的真实能力，并促进模型在图像理解、问答系统、智能对话等领域的应用。该方法能够有效应对数据污染和饱和问题，为开发更强大、更可靠的多模态AI系统提供支持。

📄 摘要（原文）

The rapid progress of multimodal large language models (MLLMs) calls for more reliable evaluation protocols. Existing static benchmarks suffer from the potential risk of data contamination and saturation, leading to inflated or misleading performance evaluations. To address these issues, we first apply Graph formulation to represent a static or dynamic VQA sample. With the formulation, we propose Knowledge-enhanced Benchmark Evolution(KBE), a dynamic multimodal evaluation framework. KBE first analyzes the original static benchmark, then expands it by integrating multimodal knowledge, transforming the static benchmark into a controllable, dynamic evolving version. Crucially, KBE can both reconstruct questions by Re-selecting visual information in the original image and expand existing questions with external textual knowledge. It enables difficulty-controllable evaluation by adjusting the degree of question exploration. Extensive experiments demonstrate that KBE alleviates the risk of data contamination, data saturation, and provides a more comprehensive assessment of MLLM capabilities.