Visual Grounding First, Multimodal In-context Learning Follows

📄 arXiv: 2610.30592v1 📥 PDF

作者: Minhyuk Seo, Minjae Lee, Chaeeun Lee, Wei Lin, Muhammad Jehanzeb Mirza, Tinne Tuytelaars, Jonghyun Choi

分类: cs.CV, cs.AI

发布日期: 2026-10-22

备注: NeurIPS 2026

💡 一句话要点

提出ProCoRe以解决多模态ICL中的视觉基础问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态学习 上下文学习 视觉基础 对比学习 强化学习 图像描述生成 模型泛化

📋 核心要点

  1. 现有多模态ICL方法依赖特定数据集，导致在其他基准上的泛化能力不足，并可能引发遗忘现象。
  2. 本文提出ProCoRe，通过对比强化学习提升视觉基础，优化多模态ICL的性能，减少对文本线索的依赖。
  3. ProCoRe在未见过ICL格式训练样本的情况下，平均提高了多模态ICL分类准确率5.6%和描述生成ROUGE-L分数13.8%。

📝 摘要（中文）

大型语言模型（LLMs）在上下文学习（ICL）方面表现出色，但将其扩展到多模态LLMs（MLLMs）仍然面临挑战。现有的多模态ICL方法通常依赖于特定数据集进行额外训练，导致在其他基准上的泛化能力不足。为了解决这一问题，本文提出ProCoRe，通过对比强化学习增强视觉基础，改善多模态ICL。ProCoRe生成对比图像对的描述，分解为命题，并优化对比奖励以鼓励与相应图像的对齐。实验结果显示，ProCoRe在多个基准上显著提高了多模态ICL分类准确率和描述生成质量。

🔬 方法详解

问题定义：本文旨在解决多模态ICL中的视觉基础不足问题。现有方法往往过于依赖文本线索，导致在处理视觉信息时表现不佳，且在不同基准上泛化能力不足。

核心思路：论文提出ProCoRe，通过对比强化学习来增强视觉基础，鼓励模型关注与任务相关的视觉证据，从而改善多模态ICL的效果。

技术框架：ProCoRe的整体架构包括生成对比图像对的描述、将描述分解为命题、以及优化对比奖励的模块。该框架通过对比学习的方式，提升模型对视觉信息的理解和利用。

关键创新：ProCoRe的核心创新在于通过对比强化学习优化视觉基础，区别于传统方法依赖于特定数据集的训练，能够在未见过的ICL格式样本上仍然表现出色。

关键设计：在设计上，ProCoRe使用了特定的损失函数来优化对比奖励，确保模型在对比图像对中能够有效对齐，同时避免与不匹配图像的干扰。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

ProCoRe在多个基准测试中表现优异，平均提高了多模态ICL分类准确率5.6%和描述生成ROUGE-L分数13.8%，超越了依赖ICL数据的现有最先进方法，展示了其强大的泛化能力。

🎯 应用场景

该研究的潜在应用领域包括智能助手、自动图像描述生成和多模态搜索引擎等。通过提升多模态模型对视觉信息的理解能力，ProCoRe能够在实际应用中提供更准确的结果，推动人机交互的智能化进程。

📄 摘要（原文）

LLMs have shown strong in-context learning (ICL) capability, but extending it to Multimodal LLMs (MLLMs) remains challenging. Prior multimodal ICL methods often rely on ICL-specific datasets for additional training or task vector extraction, which can improve performance on the same ICL benchmark used for adaptation. However, they do not generalize well to other benchmarks and often induce forgetting in previously well-solved tasks. For this reason, we identify 'visual grounding' as the key bottleneck in multimodal ICL; MLLMs often fail to attend to task-relevant visual evidence in demonstrations, instead over-relying on textual cues and producing hallucinated outputs. To address this, we propose ProCoRe to enhance visual grounding through contrastive reinforcement learning on multimodal contrastive data for improving multimodal ICL. ProCoRe generates captions for contrastive image pairs, decomposes them into propositions, and optimizes contrastive rewards that encourage alignment with corresponding images while discouraging mismatched ones. Despite never seeing ICL-formatted training examples, ProCoRe improves average multimodal ICL classification accuracy by 5.6% and captioning ROUGE-L by 13.8% over the off-the-shelf Qwen-VL-3-8B model, outperforming ICL-data-dependent state of the arts across benchmarks. Finally, we introduce PICL, a personalized multimodal ICL captioning benchmark that tests whether MLLMs genuinely understand visual demonstrations rather than relying on pre-trained semantic priors.