CRAG-MM-Diagnostics: Enabling Stage-Wise Analysis of Knowledge-Intensive VQA

📄 arXiv: 2607.21155v1 📥 PDF

作者: Hanseok Oh, Parishad BehnamGhader, Benno Krojer, Hyunji Lee, Paul Liang, Siva Reddy, Verna Dankers

分类: cs.CV, cs.AI

发布日期: 2026-07-23

备注: Accepted to ECCV 2026

💡 一句话要点

提出CRAG-MM-Diagnostics以解决KI-VQA分析不足问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 知识密集型问答 视觉语言模型 多模态分析 知识检索 推理能力 阶段性评估 视觉定位 对象识别

📋 核心要点

  1. 现有KI-VQA方法仅报告最终准确性，无法揭示具体失败环节，限制了对模型性能的深入分析。
  2. 本文提出CRAG-MM-Diagnostics，通过阶段性数据注释，分析语言基础视觉定位、对象识别和知识检索等子问题。
  3. 实验结果表明，知识检索和推理是主要瓶颈，提出的双模态RAG管道显著提升了模型的准确率，分别提高了13.3和8.5个百分点。

📝 摘要（中文）

知识密集型视觉问答（KI-VQA）基准评估视觉语言模型（VLM）作为多模态知识助手，要求超出提供图像的信息来回答问题。KI-VQA涉及多个子问题，如语言基础的视觉定位、对象识别、知识检索和推理，但现有基准通常仅报告最终任务的准确性，掩盖了失败的具体环节。为此，本文提出CRAG-MM-Diagnostics，一个具有阶段性数据注释的诊断基准，旨在分析KI-VQA的完整流程。通过对完全参数化和检索增强的VLM进行评估，结合新收集的元数据，结果显示知识检索和推理是主要瓶颈，同时也揭示了其他环节的问题。最后，基于这些发现，提出了一种结合视觉定位模块的双模态RAG管道，显著提升了GPT-5和Qwen的准确率。

🔬 方法详解

问题定义：本文旨在解决现有KI-VQA方法在分析模型性能时的不足，特别是无法识别具体失败环节的问题。现有基准通常只关注最终任务的准确性，导致对模型的深入理解受到限制。

核心思路：提出CRAG-MM-Diagnostics，通过阶段性数据注释，细分KI-VQA的多个子任务，以便更全面地分析模型在不同环节的表现。这种设计使得研究者能够识别出模型在特定任务上的弱点，从而进行针对性改进。

技术框架：整体架构包括三个主要模块：1) 语言基础的视觉定位，2) 对象识别，3) 知识检索与推理。每个模块都通过新收集的元数据进行评估，提供细粒度的分析。

关键创新：最重要的创新在于引入了阶段性数据注释，使得研究者能够独立分析每个子任务的表现。这与现有方法的根本区别在于，后者通常只关注最终结果，而忽视了中间环节的具体表现。

关键设计：在实验中，采用了新的元数据收集方法，包括目标ROI、实体名称和视觉复杂度评分等。这些设计使得模型在评估时能够获得更全面的信息，从而提高分析的准确性。实验还展示了如何通过结合视觉定位模块来增强图像检索的效果。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，知识检索和推理是KI-VQA系统的主要瓶颈，提出的双模态RAG管道在GPT-5和Qwen模型中分别提升了13.3和8.5个百分点的准确率。这一发现为未来KI-VQA系统的改进提供了重要的方向。

🎯 应用场景

该研究的潜在应用领域包括智能问答系统、机器人视觉和多模态交互等。通过更深入的分析和理解KI-VQA模型的性能，研究者可以针对性地改进模型，提升其在实际应用中的表现，推动多模态技术的发展。未来，该方法可能会影响更广泛的视觉语言任务，促进更智能的知识检索和推理系统的构建。

📄 摘要（原文）

Knowledge-Intensive Visual Question Answering (KI-VQA) benchmarks evaluate Vision-Language Models (VLMs) as multimodal knowledge assistants by requiring external information beyond a provided image to answer questions. KI-VQA involves multiple sub-problems -referring expression understanding, visual grounding, object recognition, knowledge retrieval, and reasoning-yet existing benchmarks typically report only end-task accuracy, obscuring where failures arise. To analyze the full KI-VQA pipeline, we introduce CRAG-MM-Diagnostics, a diagnostic benchmark with stage-wise data annotations that isolate 1) language-based visual grounding, 2) object identification, and 3) knowledge retrieval and reasoning. We evaluate fully parametric and retrieval-augmented VLMs, providing fine-grained analyses using newly collected metadata, such as target ROIs, entity names, and visual complexity scores. Our results point to knowledge retrieval and reasoning as the primary bottleneck, but also highlight issues in the other parts of the KI-VQA pipeline, such as the fact that VLMs struggle with target object identification or that image retrievers struggle to integrate textual cues. These findings expose fundamental limitations in current KI-VQA systems and motivate stage-aware evaluation. We, lastly, leverage these findings to propose a grounded bimodal RAG pipeline that integrates a visual grounding module to crop targets before image retrieval, boosting GPT-5 and Qwen's respective accuracies by 13.3 and 8.5 percentage points.