Mind What Matters for Reasoning: Aligning Cross-Modal Attention via Selective Probability Mass Concentration

📄 arXiv: 2609.29940v1 📥 PDF

作者: Jiaqi Deng, Zonghan Wu, Zhan Heng, Xiaoshui Huang, Huan Huo, Guandong Xu

分类: cs.CV, cs.AI

发布日期: 2026-09-24

💡 一句话要点

提出选择性概率质量集中方法以增强多模态推理能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态推理 视觉证据 注意力机制 深度学习 模型正则化 计算机视觉 自然语言处理

📋 核心要点

  1. 现有多模态大型语言模型在视觉推理中存在幻觉和对语言先验的过度依赖，导致未能充分利用视觉证据。
  2. 本文提出选择性概率质量集中（sPMC）框架，通过识别和正则化对视觉证据反应强烈的注意力头来增强隐式视觉基础。
  3. 在6个多模态基准测试中，sPMC实现了平均3%的零-shot提升，部分模型的性能提升最高可达11.3%。

📝 摘要（中文）

多模态大型语言模型（MLLMs）在视觉推理任务中表现出色，但仍容易产生幻觉并过度依赖语言先验，常常在没有充分利用任务相关视觉证据的情况下生成答案。现有方法主要通过推理导向的监督或推理时策略来改善推理过程。本文研究了一个补充性问题：是否可以通过增强隐式视觉基础而不直接监督推理过程来改善多模态推理？我们提出选择性概率质量集中（sPMC）训练框架，识别对视觉证据基础反应强烈的注意力头，并选择性地正则化其文本到图像的注意力。实验结果表明，sPMC在6个多模态基准测试中实现了平均3%的零-shot提升，最高可达11.3%的增益，同时仅正则化了3%-15%的注意力头。

🔬 方法详解

问题定义：本文旨在解决多模态推理中对视觉证据的不足利用问题。现有方法往往依赖于推理导向的监督，未能有效引导模型关注视觉信息。

核心思路：我们提出选择性概率质量集中（sPMC）方法，通过识别对视觉证据反应强烈的注意力头，选择性地正则化其文本到图像的注意力，从而增强模型的视觉基础。

技术框架：sPMC框架包括两个主要模块：一是自适应头选择，识别对视觉信息敏感的注意力头；二是正则化机制，通过分割导出的空间先验引导注意力分布到语义相关区域。

关键创新：sPMC的创新在于针对性地引导稀疏的隐式视觉证据通道，而不是对所有注意力头进行统一的监督，从而保留了其他头的互补功能。

关键设计：在实现中，sPMC通过正则化注意力分布的方式，鼓励模型将注意力集中在与视觉信息相关的区域，正则化比例设置在3%-15%之间，以确保模型的灵活性和适应性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，sPMC在6个多模态基准测试中实现了平均3%的零-shot提升，部分模型的性能提升最高可达11.3%。这一结果表明，针对性引导视觉证据通道能够有效改善多模态推理能力，且仅需正则化3%-15%的注意力头。

🎯 应用场景

该研究在多模态推理、计算机视觉和自然语言处理等领域具有广泛的应用潜力。通过增强模型对视觉证据的利用，sPMC可以提升智能助手、自动驾驶、图像描述生成等实际应用的性能，推动多模态技术的进一步发展。

📄 摘要（原文）

Multimodal large language models (MLLMs) achieve strong performance on visual reasoning tasks, yet remain prone to hallucinations and over-reliance on language priors, often generating answers without adequately using task-relevant visual evidence. Existing approaches primarily improve reasoning through reasoning-oriented supervision or inference-time strategies. In this work, we study a complementary question: can multimodal reasoning be improved by strengthening implicit visual grounding without directly supervising the reasoning process? Motivated by the functional specialization of attention heads, we investigate whether reasoning can be improved by guiding only the heads most responsive to visual evidence grounding. We propose Selective Probability Mass Concentration (sPMC), a training framework that identifies grounding-responsive heads and selectively regularizes their text-to-image attention. sPMC treats normalized attention over visual tokens as a spatial probability distribution and encourages the probability mass to be assigned to semantically relevant regions using segmentation-derived spatial priors. Adaptive Head Selection restricts this guidance to visually responsive heads while leaving the remaining heads unconstrained to preserve their complementary functions. Across 6 multimodal benchmark suites, sPMC achieves an average zero-shot improvement of 3% and gains of up to 11.3% across multiple MLLMs while regularizing only 3%-15% of their attention heads. These results demonstrate that targeted guidance of sparse and implicit visual evidence pathways can directly improve multimodal reasoning.