A Comprehensive Information-Decomposition Analysis of Large Vision-Language Models

📄 arXiv: 2603.29676v1 📥 PDF

作者: Lixin Xiu, Xufang Luo, Hideki Nakayama

分类: cs.LG, cs.CL, cs.CV

发布日期: 2026-03-31

备注: Accepted at ICLR 2026. Project page: https://riishin.github.io/pid-lvlm-iclr26/

🔗 代码/项目: GITHUB

💡 一句话要点

提出基于信息分解的LVLM分析框架，揭示多模态融合机制与模型策略。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉语言模型 多模态融合 信息分解 模型分析 深度学习 可解释性 指令调优

📋 核心要点

  1. 现有LVLM决策过程不透明，难以区分其性能提升是源于多模态融合还是单模态先验。
  2. 提出基于部分信息分解(PID)的框架，量化LVLM的信息谱，分析冗余、独特和协同信息。
  3. 实验分析了26个LVLM，揭示了任务模式和家族级策略，并识别了融合学习的关键阶段。

📝 摘要（中文）

大型视觉语言模型(LVLMs)表现出色，但其内部决策过程不透明，难以确定成功是否源于真正的多模态融合或对单模态先验的依赖。为了解决这一归因差距，我们引入了一种新颖的框架，使用部分信息分解(PID)来定量测量LVLM的“信息谱”，将模型决策相关的信息分解为冗余、独特和协同成分。通过将可扩展的估计器适配到现代LVLM的输出，我们的模型无关pipeline在四个数据集上，跨三个维度（广度：跨模型和跨任务，深度：逐层信息动态，时间：跨训练的学习动态）分析了26个LVLM。我们的分析揭示了两个关键结果：(i)两种任务模式（协同驱动 vs. 知识驱动）和(ii)两种稳定、对比鲜明的家族级策略（融合中心 vs. 语言中心）。我们还发现了逐层处理中一致的三阶段模式，并将视觉指令调优确定为学习融合的关键阶段。总之，这些贡献提供了一个超越仅基于准确率评估的定量视角，并为分析和设计下一代LVLM提供了见解。

🔬 方法详解

问题定义：现有的大型视觉语言模型（LVLM）虽然在各种任务上表现出了卓越的性能，但是其内部的决策过程仍然是一个黑盒。研究者难以确定模型取得成功是真正得益于视觉和语言信息的有效融合，还是仅仅依赖于单模态的先验知识。这种不透明性阻碍了我们对LVLM的深入理解，也限制了我们进一步优化和改进模型的能力。

核心思路：本文的核心思路是利用部分信息分解（Partial Information Decomposition, PID）技术，将LVLM的决策过程分解为多个信息成分，包括冗余信息、独特信息和协同信息。通过量化这些信息成分，可以更清晰地了解视觉和语言信息在模型决策中的作用，从而揭示模型的多模态融合机制。PID提供了一种定量分析模型内部信息流动的工具，有助于理解模型如何利用不同模态的信息做出决策。

技术框架：该研究提出的分析框架主要包含以下几个步骤：1) 选择目标LVLM和数据集；2) 利用LVLM生成输出结果；3) 将LVLM的输出结果输入到PID估计器中；4) PID估计器将模型决策相关的信息分解为冗余、独特和协同成分；5) 分析不同信息成分的比例和变化趋势，从而揭示模型的多模态融合机制。该框架具有模型无关性，可以应用于各种不同的LVLM。

关键创新：该研究的关键创新在于将部分信息分解（PID）技术应用于分析大型视觉语言模型（LVLM）。PID是一种信息论工具，可以量化多个信息源对目标变量的贡献，将其分解为冗余、独特和协同成分。通过将PID应用于LVLM，该研究能够揭示视觉和语言信息在模型决策中的作用，从而更深入地理解模型的多模态融合机制。这是首次将PID应用于如此大规模的视觉语言模型分析，为理解LVLM的内部工作机制提供了一种新的视角。

关键设计：该研究的关键设计包括：1) 适配LVLM输出的可扩展PID估计器，使其能够处理大规模模型的复杂输出；2) 跨多个维度（模型、任务、层、训练阶段）进行分析，以全面了解LVLM的信息动态；3) 定义了两种任务模式（协同驱动 vs. 知识驱动）和两种家族级策略（融合中心 vs. 语言中心），用于描述LVLM的不同行为模式。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

研究结果表明，LVLM存在两种任务模式（协同驱动 vs. 知识驱动）和两种家族级策略（融合中心 vs. 语言中心）。此外，研究还发现LVLM的逐层处理存在一致的三阶段模式，并将视觉指令调优确定为学习融合的关键阶段。这些发现为理解LVLM的内部工作机制提供了重要的见解。

🎯 应用场景

该研究成果可应用于LVLM的设计与优化，指导模型更好地融合多模态信息，提升性能和鲁棒性。此外，该方法还可用于评估不同LVLM的多模态融合能力，为模型选择提供依据。未来，该研究或可扩展到其他多模态模型，促进跨模态理解的深入发展。

📄 摘要（原文）

Large vision-language models (LVLMs) achieve impressive performance, yet their internal decision-making processes remain opaque, making it difficult to determine if the success stems from true multimodal fusion or from reliance on unimodal priors. To address this attribution gap, we introduce a novel framework using partial information decomposition (PID) to quantitatively measure the "information spectrum" of LVLMs -- decomposing a model's decision-relevant information into redundant, unique, and synergistic components. By adapting a scalable estimator to modern LVLM outputs, our model-agnostic pipeline profiles 26 LVLMs on four datasets across three dimensions -- breadth (cross-model & cross-task), depth (layer-wise information dynamics), and time (learning dynamics across training). Our analysis reveals two key results: (i) two task regimes (synergy-driven vs. knowledge-driven) and (ii) two stable, contrasting family-level strategies (fusion-centric vs. language-centric). We also uncover a consistent three-phase pattern in layer-wise processing and identify visual instruction tuning as the key stage where fusion is learned. Together, these contributions provide a quantitative lens beyond accuracy-only evaluation and offer insights for analyzing and designing the next generation of LVLMs. Code and data are available at https://github.com/RiiShin/pid-lvlm-analysis .