CrossICL: Cross-Task In-Context Learning via Unsupervised Demonstration Transfer

📄 arXiv: 2505.24143v1 📥 PDF

作者: Jinglong Gao, Xiao Ding, Lingxiao Zou, Bing Qin, Ting Liu

分类: cs.CL

发布日期: 2025-05-30

备注: 9 pages

💡 一句话要点

提出CrossICL，通过无监督示例迁移实现跨任务上下文学习。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 上下文学习 跨任务学习 无监督学习 示例迁移 大语言模型

📋 核心要点

  1. 现有上下文学习依赖人工标注示例，成本高昂且用户难以提供。
  2. CrossICL通过迁移源任务示例到目标任务，无需人工干预实现上下文学习。
  3. 实验在Super-NI基准上验证了CrossICL的有效性，并分析了任务差距的影响。

📝 摘要（中文）

本文提出了一种新的上下文学习（ICL）范式CrossICL，旨在利用现有源任务的示例来指导目标任务的ICL，从而无需额外的人工干预即可获得可靠的指导。为了实现这一目标，我们首先设计了一个两阶段对齐策略，以减轻跨任务差距造成的干扰，作为实验探索的基础。在此基础上，我们对CrossICL进行了全面的探索，使用了来自Super-NI基准测试的875个NLP任务和六种类型的LLM，包括GPT-4o。实验结果证明了CrossICL的有效性，并为诸如选择跨任务示例的标准以及CrossICL中任务差距引起的干扰类型等问题提供了有价值的见解。

🔬 方法详解

问题定义：现有的上下文学习（ICL）方法严重依赖于人工提供的示例（demonstrations），这在实际应用中面临诸多挑战。用户可能不愿意或无法提供高质量的示例，导致ICL性能受限。因此，如何摆脱对人工示例的依赖，利用已有的资源来提升ICL的性能，是一个亟待解决的问题。

核心思路：CrossICL的核心思想是利用已有的、来自其他任务的示例来指导目标任务的ICL。通过将源任务的示例迁移到目标任务，可以在无需人工干预的情况下，为LLM提供上下文信息，从而提升其在目标任务上的表现。这种方法借鉴了人类的学习方式，即通过类比和迁移来学习新的知识。

技术框架：CrossICL的技术框架主要包含两个阶段：对齐阶段和ICL阶段。在对齐阶段，通过两阶段对齐策略来缓解跨任务差距带来的干扰。第一阶段是对任务语义的对齐，例如通过任务描述或者任务名称进行匹配。第二阶段是对示例的对齐，例如通过计算示例之间的相似度进行筛选。在ICL阶段，将对齐后的源任务示例作为上下文，输入到LLM中，进行目标任务的预测。

关键创新：CrossICL的关键创新在于提出了跨任务示例迁移的ICL范式。与传统的ICL方法相比，CrossICL无需人工提供示例，而是利用已有的资源，降低了ICL的使用门槛。此外，两阶段对齐策略有效地缓解了跨任务差距带来的干扰，提升了示例迁移的可靠性。

关键设计：两阶段对齐策略是CrossICL的关键设计。第一阶段的任务语义对齐可以通过计算任务描述的文本相似度来实现，例如使用Sentence-BERT等模型。第二阶段的示例对齐可以通过计算示例之间的语义相似度来实现，例如使用余弦相似度或高斯核函数。此外，示例的选择策略也会影响CrossICL的性能，例如可以选择与目标任务示例最相似的源任务示例，或者选择多样性较高的源任务示例。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，CrossICL在Super-NI基准测试的875个NLP任务上取得了显著的性能提升。通过使用来自其他任务的示例，CrossICL在多种LLM（包括GPT-4o）上都表现出良好的效果。实验还分析了不同类型的任务差距对CrossICL性能的影响，并为选择合适的跨任务示例提供了指导。

🎯 应用场景

CrossICL可应用于各种自然语言处理任务，尤其是在缺乏人工标注数据的场景下。例如，在低资源语言的机器翻译、特定领域的文本分类等任务中，可以利用其他语言或领域的示例来提升模型性能。该研究有助于降低LLM的应用成本，推动其在更广泛的领域落地。

📄 摘要（原文）

In-Context Learning (ICL) enhances the performance of large language models (LLMs) with demonstrations. However, obtaining these demonstrations primarily relies on manual effort. In most real-world scenarios, users are often unwilling or unable to provide such demonstrations. Inspired by the human analogy, we explore a new ICL paradigm CrossICL to study how to utilize existing source task demonstrations in the ICL for target tasks, thereby obtaining reliable guidance without any additional manual effort. To explore this, we first design a two-stage alignment strategy to mitigate the interference caused by gaps across tasks, as the foundation for our experimental exploration. Based on it, we conduct comprehensive exploration of CrossICL, with 875 NLP tasks from the Super-NI benchmark and six types of LLMs, including GPT-4o. Experimental results demonstrate the effectiveness of CrossICL and provide valuable insights on questions like the criteria for selecting cross-task demonstrations, as well as the types of task-gap-induced interference in CrossICL.