Architecture-Dependent Fusion Pathways in MLLMs

📄 arXiv: 2610.03289v1 📥 PDF

作者: Hebao Zhu, Dongxia Wu

分类: cs.LG

发布日期: 2026-10-02

💡 一句话要点

提出多模态大语言模型架构依赖的融合路径以理解信息融合机制

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态大语言模型 信息融合 视觉-语言任务 架构分析 特征空间重塑

📋 核心要点

  1. 现有多模态大语言模型在视觉与文本信息融合机制上理解不足，限制了其应用效果。
  2. 本文通过分析不同架构的MLLMs，提出了识别模态变化、特征分布和融合重塑的三步分析方法。
  3. 实验结果表明，连接模型和原生模型在信息融合路径上存在显著差异，支持了架构感知的多模态表示分析。

📝 摘要（中文）

多模态大语言模型（MLLMs）在视觉-语言任务中表现出色，但其在层间融合视觉与文本信息的内部机制尚不明确。本文研究了两种架构范式的代表性MLLMs：连接架构和原生多模态架构。通过三种逐步关联的分析，识别出不同模态的变化、交叉模态信息的分布特征以及融合如何重塑特征空间。此外，进行因果干预实验以验证解释结果。分析结果显示，连接模型遵循文本优先、视觉后续的路径，而原生模型则表现出更早的视觉-文本共同适应和特征空间重组。这项工作为理解多模态融合提供了机制视角，并支持架构感知的多模态表示诊断。

🔬 方法详解

问题定义：本文旨在揭示多模态大语言模型中视觉与文本信息融合的内部机制，现有方法对这一过程的理解不足，导致性能提升受限。

核心思路：通过对连接架构和原生多模态架构的比较分析，识别出不同模态在融合过程中的变化及其对特征空间的影响，以此提供更深入的理解。

技术框架：研究分为三部分：模态对齐解耦、注意力路由与熵分析、内在维度分析，最后通过因果干预实验验证结果。

关键创新：提出了两种不同的融合路径，连接模型采用文本优先的策略，而原生模型则实现了更早的视觉与文本的共同适应，显著区别于传统方法。

关键设计：在实验中使用了视觉CKA方法来检验Platonic Representation Hypothesis，确保了分析的严谨性和结果的可靠性。通过这些设计，论文为多模态融合提供了新的视角和方法论。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，连接模型在视觉-文本融合上表现出文本优先的特征，而原生模型则在早期阶段实现了更有效的共同适应。通过这些分析，论文为多模态模型的架构选择提供了实证支持，推动了该领域的研究进展。

🎯 应用场景

该研究为多模态大语言模型的设计与优化提供了理论基础，能够广泛应用于视觉问答、图像描述生成等任务。理解不同架构的融合机制将有助于提升模型在实际应用中的表现，推动智能系统的进一步发展。

📄 摘要（原文）

Multimodal Large Language Models (MLLMs) achieve strong performance across vision-language tasks, yet the internal mechanisms by which visual and textual information are fused across layers remain insufficiently understood. We investigate representative MLLMs from two architectural paradigms: concatenation architectures and native multimodal architectures. We conduct three progressively connected analyses: alignment decoupling identifies which modality changes, attention routing and entropy characterize how cross-modal information is distributed, and intrinsic dimensionality examines how fusion reshapes feature spaces. Separately, we perform causal intervention experiments as a validation of the resulting interpretation. As a supplementary analysis, we use visual CKA to examine the Platonic Representation Hypothesis. Together, these analyses reveal two distinct fusion pathways: concatenation models follow a text-first, vision-later pathway, whereas native models exhibit earlier visual-textual co-adaptation and feature-space reorganization. This work provides a mechanistic perspective for understanding multimodal fusion and supports architecture-aware diagnostics of multimodal representations.