The Alignment Illusion in Multimodal Large Language Models

📄 arXiv: 2609.30210v1 📥 PDF

作者: Hong-Han Wang, Yuntao Wang, Hu Ding

分类: cs.CV, cs.LG

发布日期: 2026-09-24

备注: Accepted to NeurIPS 2026

💡 一句话要点

提出主成分角度差距以解决多模态大语言模型的对齐幻觉问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态大语言模型 对齐幻觉 主成分角度差距 视觉流 文本流 几何诊断 跨模态交互

📋 核心要点

  1. 现有方法假设标量对齐分数能够反映多模态大语言模型中的内容级跨模态交互，但实验结果表明这一假设存在缺陷。
  2. 论文提出通过引入主成分角度差距（PA gap）来更准确地评估视觉流的内部几何结构与任务准确性之间的关系。
  3. 实验结果显示，PA gap在视觉损坏情况下比传统标量度量更能有效跟踪任务准确性，揭示了对齐幻觉的存在。

📝 摘要（中文）

多模态大语言模型（MLLMs）中的层级视觉-文本相似性常被解读为语言模型逐步将视觉内容整合到共享表示空间的证据。然而，这一解读基于标量对齐分数反映内容级跨模态交互的假设。通过对视觉流进行控制干预，研究发现替换视觉标记为高斯噪声显著降低任务准确性，但四种标准标量度量（CKA、SVCCA、MIR和主角余弦）未能一致区分原始流与被破坏流。我们称这一失败为对齐幻觉，并追溯其原因至共享语言模型路径。为此，提出主成分角度差距（PA gap），该指标在视觉损坏下更一致地跟踪任务准确性，揭示了内部几何与任务准确性之间的差异。

🔬 方法详解

问题定义：论文要解决的问题是现有标量对齐分数无法有效区分多模态大语言模型中的视觉流与文本流的交互，导致对齐幻觉的产生。

核心思路：论文的核心思路是引入主成分角度差距（PA gap），通过分析视觉流的几何结构来更准确地评估其与文本流的关系，从而克服传统方法的局限性。

技术框架：整体架构包括对多模态大语言模型的视觉流进行控制干预，使用不同的标量度量和PA gap进行比较分析，评估其对任务准确性的影响。

关键创新：最重要的技术创新点在于提出PA gap这一新指标，它能够有效区分由权重引起的相似性与多方向视觉结构之间的关系，提供了更深刻的几何诊断。

关键设计：在实验中，采用了多种标准标量度量（如CKA、SVCCA、MIR）与PA gap进行对比，设计了不同程度的视觉损坏以测试模型的鲁棒性和准确性。实验结果表明，PA gap在不同条件下的表现优于传统度量。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，在视觉损坏情况下，主成分角度差距（PA gap）能够更一致地跟踪任务准确性，相较于传统标量度量，PA gap在不同模型和任务中的表现提升幅度显著，揭示了对齐幻觉的存在。

🎯 应用场景

该研究的潜在应用领域包括多模态学习、计算机视觉与自然语言处理的结合等。通过更准确地理解视觉与文本的交互，能够提升多模态模型在实际任务中的表现，如图像描述生成、视觉问答等，未来可能对人机交互和智能系统的设计产生深远影响。

📄 摘要（原文）

Layer-wise visual-text similarity in Multimodal Large Language Models (MLLMs) is widely interpreted as evidence that the language model progressively integrates visual content into a shared representation space. This reading rests on the assumption that scalar alignment scores reflect content-level cross-modal interaction. To test this assumption, we apply controlled interventions to the visual stream. Across 13 MLLMs from five families spanning 0.5B to 72B parameters, replacing projector-output visual tokens with Gaussian noise sharply reduces task accuracy, yet four standard scalar measures (CKA, SVCCA, MIR, and the leading principal-angle cosine) fail to consistently separate the corrupted stream from the original. We call this failure the alignment illusion and trace it to the shared language-model pathway: anisotropic MLP down-projections pull visual and text tokens toward common output directions, producing weight-induced alignment. Because this component is essentially one-dimensional, we introduce the principal-angle gap (PA gap), defined as the difference between the top two principal-angle cosines, which separates weight-induced similarity from multi-directional visual structure. Under graded visual corruption, the PA gap tracks task accuracy more consistently than the scalar scores we consider; under a structured but irrelevant image, it further exposes regimes in which internal geometry and task accuracy come apart. Internal visual-text alignment in MLLMs is therefore best read as a geometric diagnostic of the visual stream inside the language model rather than a direct proxy for content-level cross-modal interaction, and is most informative when calibrated by controlled task evidence.