Many-Shot In-Context Learning in Multimodal Foundation Models

📄 arXiv: 2405.09798v2 📥 PDF

作者: Yixing Jiang, Jeremy Irvin, Ji Hun Wang, Muhammad Ahmed Chaudhry, Jonathan H. Chen, Andrew Y. Ng

分类: cs.LG, cs.AI, cs.CL, cs.CV

发布日期: 2024-05-16 (更新: 2024-10-04)

🔗 代码/项目: GITHUB

💡 一句话要点

多模态大模型中基于大量In-Context Learning的性能提升研究

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态学习 上下文学习 大语言模型 图像分类 视觉问答 Gemini 1.5 Pro GPT-4o

📋 核心要点

  1. 现有方法在多模态大模型中，上下文学习的样本数量有限，未能充分挖掘模型的潜力。
  2. 本文探索了多模态大模型中大量样本上下文学习的性能，通过增加示例数量来提升模型效果。
  3. 实验表明，大量样本ICL能显著提升模型在多个数据集上的性能，Gemini 1.5 Pro表现更优。

📝 摘要（中文）

大型语言模型在少量样本的上下文学习(ICL)方面表现出色。多模态基础模型在上下文窗口长度上取得了前所未有的进展，为探索其使用更多示例进行ICL的能力提供了机会。本文评估了多模态基础模型在从少量样本到大量样本ICL的性能表现。我们使用GPT-4o和Gemini 1.5 Pro在涵盖自然图像、医学图像、遥感图像和分子图像等多个领域以及图像分类、视觉问答和目标定位等任务的14个数据集上进行了基准测试。观察表明，大量样本ICL（包括近2000个示例）相比少量样本（<100个示例）ICL，在所有数据集上都带来了显著的性能提升。此外，Gemini 1.5 Pro的性能在许多数据集上持续以对数线性方式提升，直至达到测试示例的最大数量。我们还发现，像Llama 3.2-Vision这样的开源多模态基础模型并没有从示例中受益，突显了开源和闭源多模态基础模型之间存在的重要差距。考虑到大量样本ICL所需的高推理成本，我们还探讨了在单个API调用中批量处理多个查询的影响。结果表明，在零样本和大量样本ICL下，批量处理多达50个查询可以带来性能提升，在多个数据集的零样本设置中获得了显著收益，同时大幅降低了每个查询的成本和延迟。最后，虽然GPT-4o和Gemini 1.5 Pro在数据集上实现了相似的零样本性能，但Gemini 1.5 Pro在大多数数据集上的学习速度比GPT-4o更快。我们的结果表明，大量样本ICL可以帮助用户有效地将多模态基础模型应用于新的应用和领域。我们的代码库已公开。

🔬 方法详解

问题定义：论文旨在解决多模态基础模型在上下文学习(ICL)中，如何有效利用大量示例来提升模型性能的问题。现有方法通常只关注少量样本的ICL，未能充分挖掘模型的潜力，尤其是在长上下文窗口成为可能的情况下。此外，开源多模态模型与闭源模型在ICL能力上存在差距，需要进一步研究。

核心思路：论文的核心思路是通过增加ICL的示例数量，即从少量样本ICL扩展到大量样本ICL，来提升多模态基础模型的性能。作者认为，随着上下文窗口的扩展，模型能够处理更多的示例，从而更好地学习任务的内在规律，提高泛化能力。同时，研究批量查询策略，降低推理成本。

技术框架：论文采用实验驱动的方法，主要流程包括：1) 选择多个多模态基础模型（GPT-4o, Gemini 1.5 Pro, Llama 3.2-Vision）；2) 在多个涵盖不同领域和任务的数据集上进行基准测试；3) 评估不同数量的示例（从少量到大量）对ICL性能的影响；4) 研究批量查询对性能和成本的影响；5) 对比不同模型在零样本、少量样本和大量样本ICL下的表现。

关键创新：论文的关键创新在于：1) 系统性地研究了大量样本ICL在多模态基础模型中的性能，揭示了其相比少量样本ICL的显著优势；2) 发现了Gemini 1.5 Pro在大量样本ICL中持续提升的特性，以及开源模型与闭源模型在ICL能力上的差距；3) 提出了批量查询策略，在保证性能的同时降低了推理成本。与现有方法相比，本文更关注大量样本ICL的潜力，并提供了实际应用中的优化策略。

关键设计：论文的关键设计包括：1) 选择具有代表性的多模态数据集，涵盖自然图像、医学图像、遥感图像和分子图像等多个领域；2) 采用不同的任务类型，包括图像分类、视觉问答和目标定位；3) 控制变量，系统性地评估不同数量的示例对ICL性能的影响；4) 采用批量查询策略，通过调整批量大小来优化性能和成本；5) 使用标准的评估指标，如准确率、F1-score等，来衡量模型性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，大量样本ICL（最多近2000个示例）相比少量样本ICL（<100个示例）在所有14个数据集上都带来了显著的性能提升。Gemini 1.5 Pro的性能在许多数据集上持续以对数线性方式提升，直至达到测试示例的最大数量。批量处理多达50个查询可以带来性能提升，在多个数据集的零样本设置中获得了显著收益，同时大幅降低了每个查询的成本和延迟。

🎯 应用场景

该研究成果可应用于各种多模态任务，例如医学影像诊断、遥感图像分析、自然图像理解等。通过大量样本ICL，用户可以更有效地将多模态基础模型应用于新的领域和任务，无需进行耗时的微调。批量查询策略可以降低推理成本，提高实际应用的可行性。未来，该研究可以推动多模态大模型在各行业的广泛应用。

📄 摘要（原文）

Large language models are effective at few-shot in-context learning (ICL). Recent advancements in multimodal foundation models have enabled unprecedentedly long context windows, presenting an opportunity to explore their capability to perform ICL with many more demonstrating examples. In this work, we evaluate the performance of multimodal foundation models scaling from few-shot to many-shot ICL. We benchmark GPT-4o and Gemini 1.5 Pro across 14 datasets spanning multiple domains (natural imagery, medical imagery, remote sensing, and molecular imagery) and tasks (image classification, visual QA, and object localization). We observe that many-shot ICL, including up to almost 2,000 demonstrating examples, leads to substantial improvements compared to few-shot (<100 examples) ICL across all of the datasets. Further, Gemini 1.5 Pro performance continues to improve log-linearly up to the maximum number of tested examples on many datasets. We also find open-weights multimodal foundation models like Llama 3.2-Vision do not benefit from the demonstrating examples, highlighting an important gap between open and closed multimodal foundation models. Given the high inference costs required for many-shot ICL, we also explore the impact of batching multiple queries in a single API call. We show that batching up to 50 queries can lead to performance improvements under zero-shot and many-shot ICL, with substantial gains in the zero-shot setting on multiple datasets, while drastically reducing per-query cost and latency. Finally, while GPT-4o and Gemini 1.5 Pro achieve similar zero-shot performance across the datasets, Gemini 1.5 Pro learns more quickly than GPT-4o on most datasets. Our results suggest that many-shot ICL could enable users to efficiently adapt multimodal foundation models to new applications and domains. Our codebase is publicly available at https://github.com/stanfordmlgroup/ManyICL .