ActICL: Post-Training for Agentic Multimodal In-Context Learning

📄 arXiv: 2610.19475v1 📥 PDF

作者: Yanshu Li, Ruixiang Tang, Junyi Jessy Li, Elias Stengel-Eskin

分类: cs.CV, cs.CL

发布日期: 2026-10-14

备注: Project page: https://kaamava.github.io/acticl-project-page/

💡 一句话要点

提出ActICL以解决多模态上下文学习中的演示检索问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态学习 上下文检索 大语言模型 工具增强推理 信息缺口分析 自适应检索 智能问答 个性化推荐

📋 核心要点

  1. 现有的演示检索方法通常采用固定评分机制，导致冗余和噪声，无法有效满足多模态上下文学习的需求。
  2. ActICL通过训练一个MLLM代理，使其能够在推理过程中自主判断信息缺口并进行渐进式检索，提升了检索的针对性和有效性。
  3. 实验表明，ActICL在多个基准测试中显著提升了性能，尤其在4-shot ICL任务中，相较于标准检索提升了3.5个百分点。

📝 摘要（中文）

多模态上下文学习（ICL）是多模态大语言模型（MLLMs）的一项重要能力，其性能与所使用的演示密切相关，因此演示检索成为核心问题。现有方法通常采用固定评分方法一次性检索所有演示，可能导致冗余和噪声。为了解决这一问题，本文提出了ActICL，通过工具增强推理训练MLLM代理，使其能够分析自身信息缺口并进行有针对性的检索。实验结果表明，ActICL在七个基准测试和三个MLLM上，平均性能提升11.6个百分点，相较于最强基线提升4.4个百分点。

🔬 方法详解

问题定义：本文旨在解决多模态上下文学习中的演示检索问题，现有方法的痛点在于固定评分机制导致的冗余和噪声，无法动态适应任务需求。

核心思路：ActICL的核心思路是训练一个MLLM代理，使其能够在推理过程中识别信息缺口并进行有针对性的演示检索，从而提升上下文的有效性和准确性。

技术框架：整体架构包括两个主要阶段：第一阶段是代理分析自身信息缺口并进行初步检索，第二阶段是基于已有上下文进一步过滤候选演示或进行新的检索。

关键创新：ActICL的创新在于其自主判断和逐步检索的能力，使得MLLM能够动态调整检索策略，而不是依赖于固定的评分机制。

关键设计：在设计上，ActICL采用了两阶段的后训练程序，优化代理的获取和回答能力，设置了适应性演示数量，并使用特定的损失函数来平衡获取和回答的性能。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果显示，ActICL在七个基准测试中平均提升了11.6个百分点，相较于最强基线提升4.4个百分点。此外，在GPT-5.6-Sol进行4-shot ICL时，ActICL的上下文提升了3.5个百分点，显示出其在实际应用中的有效性。

🎯 应用场景

该研究的潜在应用领域包括智能问答系统、个性化推荐以及多模态信息检索等。通过提升多模态上下文学习的效率，ActICL能够在实际应用中提供更为精准和高效的服务，未来可能对人机交互和信息获取方式产生深远影响。

📄 摘要（原文）

Multimodal in-context learning (ICL) is an important capability of multimodal large language models (MLLMs). Its performance is closely tied to the demonstrations it uses, making demonstration retrieval a core problem for ICL. Common methods use fixed scoring methods to retrieve all the demonstrations at once, which may introduce redundancy and noise. Context-aware retrieval methods have emerged to address this problem by allowing incremental retrieval from a growing context. However, none of them lets the MLLM learn how to judge what new demonstrations it needs and then carry out progressive retrieval on its own. To this end, we introduce ActICL, which trains an MLLM agent to acquire and use an ICL context via tool-augmented reasoning. An ActICL agent analyzes its own information gaps during iterative reasoning and tool-use actions. Based on these gaps, it performs targeted retrieval to acquire a set of initial candidates. It can then use the existing context to further filter the candidates and refine the context, or it can iteratively perform a new retrieval. When the agent judges that the context is sufficient for the task, or when the resource limit is reached with the user request met, it sends the acquired context to an answering model, either the agent itself or another MLLM. We use a two-stage post-training procedure that jointly optimizes the agent's acquisition and answering. With an adaptive number of demonstrations, ActICL improves average performance by 11.6 percentage points over standard similarity-based retrieval across seven benchmarks and three MLLMs, and by 4.4 points compared to the strongest prior baseline. The contexts acquired by ActICL agents can also be used effectively by frontier models. When GPT-5.6-Sol performs 4-shot ICL, ActICL's contexts improve its performance by 3.5 points over standard retrieval, averaged over three benchmarks.