Two Vectors Replace In-Context Demos: Structured Task Adaptation via Embeddings

📄 arXiv: 2610.07572v1 📥 PDF

作者: Xi Ding, Naichen Shi, Jiawei Zhang

分类: cs.CL, cs.CV, cs.LG

发布日期: 2026-10-06

备注: Technical report

💡 一句话要点

提出STAVE以解决大规模多模态模型的任务适应问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 上下文学习 多模态模型 任务适应 嵌入技术 计算效率 深度学习

📋 核心要点

  1. 现有的上下文学习方法在每次查询时需重新编码示例，导致计算成本高且任务参数随深度增长。
  2. 本文提出的STAVE方法通过两个任务特定向量替代示例，显著降低了计算复杂度并提高了适应性。
  3. 实验结果表明，STAVE在多模态任务上与最先进的方法相当或更优，并在18个文本任务上超越了15-shot ICL。

📝 摘要（中文）

在上下文学习（ICL）中，冻结的大规模多模态模型（LMMs）通过少量示例适应新任务，但每次查询时都需重新编码示例，导致计算成本高。现有的无示例方法虽然降低了这一成本，但在每个任务的搜索位置或解码器层中增加了任务参数，且无法改变原始提示在层内的注意力分配。为了解决这些问题，本文提出了结构化任务适应嵌入（STAVE），用两个任务特定向量替代示例，分别更新答案生成的标记和其他结构性标记组。通过理论分析和大量实验，STAVE在多模态任务上与最先进的方法相匹配或超越，同时在18个文本任务上超越15-shot ICL和先前的任务向量，且在推理成本上为零。

🔬 方法详解

问题定义：本文旨在解决在上下文学习中，冻结的大规模多模态模型在每次查询时需重新编码示例所带来的高计算成本和任务参数增长的问题。

核心思路：STAVE通过引入两个任务特定的向量（读出向量和上下文向量），替代传统的示例，从而减少了计算负担并保持了模型的适应性。读出向量用于更新答案生成的标记，而上下文向量则更新其他结构性标记组。

技术框架：STAVE的整体架构包括输入嵌入的扩展，两个向量的训练，以及在无示例和有示例的提示上进行的损失计算。模型通过这些向量的组合来生成任务特定的输出。

关键创新：STAVE的主要创新在于用两个向量替代示例，显著降低了任务参数的数量，同时保持了模型的性能。这一设计使得模型在推理时的计算成本为零，解决了传统方法的局限性。

关键设计：在设计中，读出向量和上下文向量均通过带有答案标签的提示进行训练，损失函数采用了一阶分析和边界约束，以确保模型的有效性和稳定性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，STAVE在六个大规模多模态模型和五个大型语言模型上表现优异，匹配或超越了最先进的方法，且在18个文本任务上超越了15-shot ICL，展现出显著的性能提升。

🎯 应用场景

该研究的潜在应用领域包括智能助手、自动化内容生成和多模态数据分析等。通过降低计算成本和提高适应性，STAVE能够在资源受限的环境中实现高效的任务适应，具有广泛的实际价值和未来影响。

📄 摘要（原文）

In-context learning (ICL) adapts frozen large multimodal models (LMMs) to new tasks from a few demonstrations (demos), but re-encodes them at every query, where each demo image adds up to hundreds of visual tokens. Demo-free methods remove this cost with a compact task state. However, they add it at locations searched per task or at every decoder layer, where task parameters grow with depth. Moreover, inserted tokens or keys cannot change how the original prompt divides its attention within a layer. To address these issues, we propose Structured Task Adaptation via Embeddings (STAVE), which replaces demos with two task-specific vectors added to existing input embeddings. Specifically, a readout vector updates the answer-producing tokens and a context vector updates the other structural token groups. Both are trained with answer labels on prompts with and without demos. We justify these design choices theoretically using a first-order analysis of the loss and a margin bound. Extensive experiments on six LMMs and five large language models show that STAVE matches or outperforms state-of-the-art methods on multimodal tasks with far fewer task parameters and surpasses 15-shot ICL and prior task vectors on 18 text tasks, all at zero-shot inference cost.