Why Multimodal In-Context Learning Lags Behind? Unveiling the Inner Mechanisms and Bottlenecks

📄 arXiv: 2604.13403v1 📥 PDF

作者: Yu Wang, Sharon Li

分类: cs.CV

发布日期: 2026-04-15

备注: ACL Main 2026

🔗 代码/项目: GITHUB

💡 一句话要点

揭示多模态上下文学习滞后原因，分析其内在机制与瓶颈

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态学习 上下文学习 少样本学习 视觉语言模型 任务映射

📋 核心要点

  1. 多模态上下文学习在少样本场景下性能显著下降，现有模型难以有效利用视觉信息。
  2. 论文将多模态ICL分解为任务映射构建和转移，分析跨模态信息利用的瓶颈。
  3. 提出推理阶段增强方法，强化任务映射转移，提升多模态上下文学习性能。

📝 摘要（中文）

上下文学习(ICL)使模型能够通过推理时的演示来适应新任务。尽管ICL在大型语言模型中取得了成功，但其在多模态环境中的扩展，在内部机制以及与纯文本ICL的差异方面，仍然知之甚少。本文对多模态大型语言模型中的ICL进行了系统分析。通过跨模态的相同任务公式，我们表明多模态ICL在零样本设置中与纯文本ICL的表现相当，但在少样本演示下会显著降低。为了理解这种差距，我们将多模态ICL分解为任务映射构建和任务映射转移，并分析模型如何建立跨模态任务映射，以及如何在各层中将其转移到查询样本。我们的分析表明，当前的模型缺乏视觉和文本表示之间的推理级别对齐，并且无法可靠地将学习到的任务映射转移到查询。在这些发现的指导下，我们进一步提出了一种简单的推理阶段增强方法，以加强任务映射转移。我们的结果为多模态ICL的机制和局限性提供了新的见解，并为更有效的多模态适应提出了方向。

🔬 方法详解

问题定义：现有的大型语言模型在文本领域的上下文学习(ICL)取得了显著的成果，但是当扩展到多模态领域时，尤其是在少样本学习的场景下，性能会显著下降。现有的多模态模型在理解和利用视觉信息方面存在不足，导致无法有效地进行跨模态的任务映射和知识迁移。因此，论文旨在深入研究多模态ICL的内在机制，找出其性能瓶颈，并提出相应的解决方案。

核心思路：论文的核心思路是将多模态ICL过程分解为两个关键步骤：任务映射构建和任务映射转移。首先，模型需要根据给定的上下文示例（包括文本和图像）构建一个任务映射，即理解示例之间的关系和规律。然后，模型需要将这个任务映射应用到新的查询样本上，从而完成任务。通过分析这两个步骤，论文可以更清晰地识别出多模态ICL的瓶颈所在，并针对性地提出改进方法。

技术框架：论文的技术框架主要包括以下几个部分：1) 多模态ICL任务的定义和构建，确保在文本和多模态场景下任务的一致性；2) 对多模态ICL过程进行分解，将其拆分为任务映射构建和任务映射转移两个阶段；3) 设计实验来分析模型在每个阶段的表现，例如，通过分析模型在不同层级的表示来了解其如何建立跨模态的任务映射；4) 提出一种推理阶段的增强方法，用于强化任务映射的转移过程。

关键创新：论文最重要的技术创新点在于对多模态ICL过程的分解和分析。通过将ICL分解为任务映射构建和任务映射转移，论文能够更精确地定位多模态ICL的瓶颈，并发现现有模型在视觉和文本表示的推理级别对齐方面存在不足。此外，论文提出的推理阶段增强方法，通过强化任务映射的转移，能够有效提升多模态ICL的性能，这是一种简单而有效的改进策略。

关键设计：论文的关键设计包括：1) 使用相同的任务公式来评估文本和多模态ICL，以确保可比性；2) 设计实验来分析模型在不同层级的表示，从而了解其如何建立跨模态的任务映射；3) 提出一种推理阶段的增强方法，该方法通过调整模型在推理过程中的注意力机制，来强化任务映射的转移。具体的参数设置和网络结构细节在论文中应该有更详细的描述（未知）。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文通过实验证明，多模态ICL在零样本设置下与文本ICL表现相当，但在少样本演示下性能显著下降。提出的推理阶段增强方法能够有效提升多模态ICL的性能，具体提升幅度未知，但表明了该方法的有效性。这些实验结果为多模态ICL的研究提供了重要的参考。

🎯 应用场景

该研究成果可应用于各种需要多模态信息融合的场景，例如智能问答、图像描述生成、视觉推理等。通过提升多模态上下文学习的能力，可以使模型更好地理解和利用视觉信息，从而提高其在复杂任务中的表现。未来，该研究可以推动多模态人工智能的发展，使其在实际应用中更加可靠和高效。

📄 摘要（原文）

In-context learning (ICL) enables models to adapt to new tasks via inference-time demonstrations. Despite its success in large language models, the extension of ICL to multimodal settings remains poorly understood in terms of its internal mechanisms and how it differs from text-only ICL. In this work, we conduct a systematic analysis of ICL in multimodal large language models. Using identical task formulations across modalities, we show that multimodal ICL performs comparably to text-only ICL in zero-shot settings but degrades significantly under few-shot demonstrations. To understand this gap, we decompose multimodal ICL into task mapping construction and task mapping transfer, and analyze how models establish cross-modal task mappings, and transfer them to query samples across layers. Our analysis reveals that current models lack reasoning-level alignment between visual and textual representations, and fail to reliably transfer learned task mappings to queries. Guided by these findings, we further propose a simple inference-stage enhancement method that reinforces task mapping transfer. Our results provide new insights into the mechanisms and limitations of multimodal ICL and suggest directions for more effective multimodal adaptation. Our code is available \href{https://github.com/deeplearning-wisc/Multimocal-ICL-Analysis-Framework-MGI}{here}.