A Broader Look into MLLM's Retrieval Heads
作者: Jia Wang, Yuqing Li, Jiangnan Li, Zheng Lin, Mo Yu
分类: cs.CL
发布日期: 2026-10-23
备注: work in progress
💡 一句话要点
提出优化检索头以提升多模态大语言模型的文档理解能力
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态大语言模型 检索头 文档理解 音视频模态 信息检索 模型优化 注意力机制
📋 核心要点
- 现有方法对检索头的分析局限于少数模态，未能全面探讨其在多模态输入中的表现及优化潜力。
- 本文通过引入音视频模态，构建配对输入，探讨检索头在不同模态间的共享性及其对模型性能的影响。
- 实验结果显示，优化检索头的注意力机制显著提升了文档检索能力，尤其是在多个模型家族中表现突出。
📝 摘要（中文）
在长输入中定位相关证据是多模态大语言模型的核心能力。以往研究将这一能力归因于检索头，但分析局限于少数模态和模型。本文探讨检索头是否随模型输入模态的扩展而变化。通过构建音视频配对输入，发现新模态下检索头仍然稀疏，并在模态间共享。研究表明，优化检索头的注意力可以显著提升文档检索性能，提升了Qwen3-VL-8B在MMDocIR上的Recall@1指标6.03点。
🔬 方法详解
问题定义：本文旨在解决多模态大语言模型中检索头的稀疏性及其对文档理解的影响。现有方法未能充分利用检索头在不同模态间的共享特性。
核心思路：通过引入音视频模态，构建配对输入，分析检索头在不同模态下的表现，并将其作为优化目标，以提升模型的文档检索能力。
技术框架：研究首先构建音视频配对输入，固定证据内容，分析检索头的稀疏性和共享性。接着，通过训练检索头的注意力机制，优化模型性能。
关键创新：本研究的创新在于将检索头作为优化目标，提出了基于排名目标的训练方法，显著提升了文档检索性能。与现有方法相比，强调了检索头在多模态模型中的重要性。
关键设计：在实验中，检索头的共享性低于2%，但其优化显著改善了文档理解、空间感知和视觉数学能力。使用的损失函数为排名目标，确保检索头的有效性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，通过优化检索头的注意力机制，Qwen3-VL-8B在MMDocIR上的Recall@1指标提升了6.03点，显著改善了文档检索性能。此外，检索头的稀疏性和跨模态共享性为多模态模型的优化提供了新的视角。
🎯 应用场景
该研究的潜在应用领域包括智能搜索引擎、信息检索系统以及多模态交互应用。通过提升多模态大语言模型的文档理解能力，可以在教育、医疗、法律等领域实现更高效的信息获取与处理，未来可能推动智能助手和自动化系统的进一步发展。
📄 摘要（原文）
Locating relevant evidence in long inputs is a core capability of Multimodal Large Language Models. Prior studies attribute this capability to retrieval heads, a sparse set of attention heads that transfer information from the context to the output. However, these analyses are confined to a limited set of modalities and the corresponding models. Moreover, how retrieval heads can be leveraged to enhance the model calls for further exploration. In this paper, we ask whether this mechanism expands together with the input modalities of the model. Taking audio-visual input as a newly added modality, we construct paired inputs in which the same answer is either spoken or shown on screen. With the evidence content fixed, retrieval heads remain sparse in the new modality and are shared to a large extent across modalities. Across 18 language, vision-language, and omni-modal checkpoints, omni-modal models largely preserve the retrieval heads of their backbones. Ablating these heads eliminates nearly all audio-visual retrieval. The heads shared across modalities make up fewer than 2\% of all heads, yet ablating them also degrades document understanding, spatial perception, and visual mathematics. Building on these findings, we turn retrieval heads into a target of optimization by training their attention with a ranking objective. This raises the page Recall@1 of Qwen3-VL-8B on MMDocIR by 6.03 points and improves document retrieval across three model families. Functional attention heads can thus serve both as a lens on multimodal models and as a target for improving them.