TwinICL: Diagnosing Multimodal In-Context Learning through Paired Counterfactuals

📄 arXiv: 2609.15028v1 📥 PDF

作者: Zihan Xue, Po-Yi Lu, Serhii Honcharenko, Zih-Ching Chen, Hsuan-Tien Lin, Nanyun Peng, I-Hung Hsu, Kuan-Hao Huang

分类: cs.CV, cs.LG

发布日期: 2026-09-14

备注: 21 pages, 4 figures

🔗 代码/项目: GITHUB

💡 一句话要点

提出TwinICL以解决多模态上下文学习性能评估问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态学习 上下文学习 性能评估 程序生成 模型比较

📋 核心要点

  1. 现有的多模态上下文学习基准缺乏匹配的文本和图像版本，导致无法有效比较不同模态的性能。
  2. 论文提出了TwinICL基准，通过程序生成的文本和图像配对，进行多模态ICL的控制比较。
  3. 实验结果显示，多模态ICL在多个任务上表现不佳，但通过特定干预措施可以显著提升其性能。

📝 摘要（中文）

上下文学习（ICL）使模型能够从示例中推断任务，但现有基准通常缺乏匹配的文本和图像版本，无法比较不同模态的ICL性能。我们提出了TwinICL，这是一个程序生成的基准，提供了这样的配对以进行控制比较。在六个开放权重模型和38个任务中，多模态ICL的表现始终低于仅文本的ICL，差距因任务类型而异。为了测试是否可以弥补这一差距，我们通过视觉访问、任务框架和推理三种干预措施进行研究。尽管单独效果有限或不一致，但其组合在诊断子集上恢复了强大的多模态ICL性能。我们还评估了明确任务指令对模型的影响，揭示了即使在已知任务的情况下，模态间仍存在差距。最后，我们考察了添加示例输入和输出如何重塑这一差距，强调了示例作为处理额外上下文和任务证据的双重角色。数据集可在https://github.com/lab-flair/TwinICL获取。

🔬 方法详解

问题定义：论文旨在解决多模态上下文学习（ICL）性能评估中缺乏匹配基准的问题。现有方法无法有效比较文本和图像模态的ICL表现，导致对多模态学习的理解不够全面。

核心思路：提出TwinICL基准，通过程序生成的文本和图像配对，提供一个可控的环境来比较不同模态的ICL性能。该方法允许研究者在相同任务下评估模型的表现，从而揭示模态间的差距及其成因。

技术框架：TwinICL的整体架构包括数据生成模块、模型评估模块和干预措施模块。数据生成模块负责创建匹配的文本和图像对，模型评估模块用于测试不同模型在这些任务上的表现，而干预措施模块则用于分析影响ICL性能的因素。

关键创新：最重要的技术创新在于引入了程序生成的配对数据，使得多模态ICL的比较变得系统化和可控。与现有方法相比，TwinICL提供了更为精确的性能评估工具，能够揭示模态间的具体差距。

关键设计：在实验中，采用了多种干预措施，如视觉访问和任务框架调整，以探讨其对多模态ICL性能的影响。此外，明确的任务指令和示例输入输出的设计也被纳入考量，以评估其对模态差距的重塑作用。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果表明，在38个任务中，多模态ICL的表现普遍低于文本仅ICL，差距因任务类型而异。通过视觉访问、任务框架和推理的组合干预，能够在诊断子集上显著提升多模态ICL的性能，尽管单独的干预效果有限。这一发现为理解多模态学习的挑战提供了新的视角。

🎯 应用场景

TwinICL的研究成果可广泛应用于多模态机器学习、计算机视觉和自然语言处理等领域。通过提供一个标准化的评估基准，研究人员可以更好地理解和优化多模态模型的性能，推动相关技术的发展和应用。未来，该基准可能会影响多模态系统的设计和评估标准，促进更高效的学习算法的出现。

📄 摘要（原文）

In-context learning (ICL) enables models to infer tasks from demonstrations, but existing benchmarks generally lack matched text and image versions needed to compare ICL performance across modalities. We introduce TwinICL, a procedurally generated benchmark providing such pairs for controlled comparison. Across six open-weight models and 38 tasks, multimodal ICL consistently underperforms text-only ICL, with gaps varying by task family. To test whether this gap can be recovered, we target visual access, task framing, and reasoning through three interventions. Their combination recovers strong multimodal ICL performance on a diagnostic subset, despite limited or inconsistent individual effects. To distinguish difficulties in executing tasks from those in inferring them, we evaluate models with explicit task instructions, revealing a modality gap even when the task is known. We then examine how adding demonstration inputs and outputs reshapes this gap, highlighting demonstrations' dual role as additional context to process and evidence about the task. The dataset is available at https://github.com/lab-flair/TwinICL.