MCD: Causal Distillation of Multimodal In-Context Learning in Large Vision-Language Models

📄 arXiv: 2609.39920v1 📥 PDF

作者: Yanshu Li, Jiaqian Li, Canran Xiao, Xi Xiao, Tianyang Wang, Yongtai Liu

分类: cs.CV, cs.CL

发布日期: 2026-09-30

备注: 17 pages, 8 tables, 5 figures

💡 一句话要点

提出多模态因果蒸馏方法以提升视觉语言模型的学习能力

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态学习 因果推理 知识蒸馏 视觉语言模型 上下文学习 模型训练 性能提升

📋 核心要点

  1. 现有知识蒸馏方法主要对齐输出分布，未能揭示复杂上下文中因果支持预测的证据，导致学生模型依赖语言先验和其他虚假线索。
  2. 本文提出多模态因果蒸馏（MCD）框架，通过结构保持的标记干预识别因果证据，转移教师如何利用这些证据进行响应。
  3. 实验结果显示，MCD在多个基准测试中平均提升学生模型性能7.23分，超越传统蒸馏方法4.68分，验证了其广泛适用性。

📝 摘要（中文）

大型视觉语言模型（LVLMs）展现出强大的多模态上下文学习（ICL）能力，但随着模型规模的减小，这种能力显著下降。知识蒸馏提供了一种自然的解决方案，但现有方法主要对输出分布或隐藏表示进行直接对齐，未能揭示复杂上下文中因果支持预测的证据。为了解决这一局限性，本文提出了多模态因果蒸馏（MCD）框架，旨在转移强教师在ICL过程中如何利用多模态证据。MCD通过结构保持的标记干预来识别和验证因果证据，并转移教师在保留或移除该证据时的响应方式。实验结果表明，MCD在三个LVLM家族和七个基准测试中平均提升学生性能7.23分，且优于传统蒸馏方法4.68分，进一步分析确认了这些提升的普适性。

🔬 方法详解

问题定义：本文旨在解决现有知识蒸馏方法未能有效揭示复杂上下文中因果支持预测证据的问题。这导致学生模型在学习过程中依赖于语言先验和其他虚假线索，而非真实的因果关系。

核心思路：提出多模态因果蒸馏（MCD）框架，旨在通过结构保持的标记干预，识别和验证因果证据，并转移教师模型在保留或移除这些证据时的响应方式，从而提升学生模型的学习能力。

技术框架：MCD框架包括以下主要模块：1) 结构保持的标记干预，用于识别因果证据；2) 教师模型的响应转移，基于保留或移除证据的情况；3) 学生模型的训练，通过对齐教师的因果响应来提升其性能。

关键创新：MCD的核心创新在于将因果推理与知识蒸馏相结合，强调了模型在多模态上下文学习中的因果证据利用。这与传统方法的直接输出对齐形成了本质区别。

关键设计：在实现过程中，MCD采用了特定的损失函数来衡量教师和学生之间的因果响应差异，并设计了适应性的标记干预策略，以确保因果证据的有效识别和转移。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

实验结果表明，MCD在三个不同的LVLM家族和七个基准测试中，平均提升学生模型性能7.23分，相较于传统蒸馏方法提升4.68分，验证了其有效性和广泛适用性。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、计算机视觉和人机交互等。通过提升视觉语言模型的学习能力，MCD可以在多模态任务中实现更高的准确性和鲁棒性，具有广泛的实际价值和未来影响。

📄 摘要（原文）

Large vision-language models (LVLMs) exhibit strong multimodal in-context learning (ICL) capabilities, yet this ability degrades substantially as model size decreases. Knowledge distillation offers a natural way to bridge this gap, but existing methods primarily align output distributions or hidden representations directly. Such alignment teaches the student what the teacher predicts without revealing which evidence in the complex context causally supports that prediction. Consequently, a student can imitate the teacher's answer while continuing to rely on language priors, prompt structure, or other spurious cues. To address this limitation, we introduce Multimodal Causal Distillation (MCD), a distillation framework that transfers how a strong teacher uses multimodal evidence during ICL. MCD uses structure-preserving token interventions to identify and verify causal evidence, then transfers how the teacher responds when that evidence is retained or removed. This design connects distillation to the causal patterns by which the model uses contextual evidence during multimodal ICL. Experiments across three LVLM families and seven benchmarks show that MCD improves student performance by 7.23 points on average and outperforms vanilla distillation by 4.68 points, while further analyses confirm the generalizability of these gains.