Language Models can Exploit Cross-Task In-context Learning for Data-Scarce Novel Tasks

📄 arXiv: 2405.10548v3 📥 PDF

作者: Anwoy Chatterjee, Eshaan Tanwar, Subhabrata Dutta, Tanmoy Chakraborty

分类: cs.CL

发布日期: 2024-05-17 (更新: 2024-06-12)

备注: Accepted at ACL 2024 Main

💡 一句话要点

提出跨任务提示以解决数据稀缺的新任务问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 跨任务学习 上下文学习 伪标签生成 自然语言处理

📋 核心要点

  1. 现有大型语言模型在零-shot任务中表现出色，但在新任务适应性上仍存在局限，尤其是在数据稀缺的情况下。
  2. 本文提出了一种跨任务提示的方法，利用不同任务示例的上下文信号来提升模型在新任务上的表现。
  3. 实验结果显示，跨任务提示显著提高了模型性能，尤其是LLaMA-2 7B模型的提升幅度达到107%。

📝 摘要（中文）

大型语言模型（LLMs）在自然语言处理（NLP）领域的应用取得了显著进展，尤其是在上下文学习（ICL）方面。然而，将这些模型适应于新任务仍然面临挑战。本文探讨了LLMs是否能够从预定义任务的标记示例中推广到新任务。通过设计跨任务提示设置，研究表明即使在目标任务没有示例的情况下，LLMs也能显著提升性能。实验结果显示，LLaMA-2 7B模型在零-shot提示下性能提升107%，LLaMA-2 13B提升18.6%，GPT 3.5提升3.2%。此外，生成伪标签以用于任务示例的有效性得到了验证，分析表明跨任务示例的影响与源和目标输入标记的模型激活相似性之间存在强相关性。

🔬 方法详解

问题定义：本文旨在解决大型语言模型在面对新任务时的适应性不足，尤其是在缺乏目标任务示例的情况下，现有方法的计算需求高且小型模型表现不佳。

核心思路：通过跨任务提示，利用已知任务的上下文信息来提升模型在新任务上的表现，借鉴生物神经元的信息共享机制。

技术框架：研究设计了一个跨任务提示的实验设置，使用三种大型语言模型进行对比，评估其在新任务上的表现。主要模块包括任务示例的选择、提示生成和性能评估。

关键创新：首次探讨了LLMs在不同任务示例之间的信息共享能力，提出了跨任务提示的概念，显著提升了模型在新任务上的性能。

关键设计：在实验中，采用了伪标签生成技术来创建任务示例，并分析了源任务和目标任务输入标记的模型激活相似性，以验证跨任务示例的有效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，跨任务提示显著提升了模型的性能，LLaMA-2 7B模型的提升幅度达到107%，LLaMA-2 13B提升18.6%，而GPT 3.5则提升了3.2%。这些结果显示出跨任务学习在新任务适应中的潜力，且与标准的上下文学习方法相当。

🎯 应用场景

该研究的潜在应用领域包括智能助手、自动化客服和其他需要快速适应新任务的自然语言处理系统。通过提升模型在数据稀缺情况下的表现，能够降低对大规模标注数据的依赖，推动更广泛的应用和部署。未来，该方法可能对多任务学习和迁移学习领域产生深远影响。

📄 摘要（原文）

Large Language Models (LLMs) have transformed NLP with their remarkable In-context Learning (ICL) capabilities. Automated assistants based on LLMs are gaining popularity; however, adapting them to novel tasks is still challenging. While colossal models excel in zero-shot performance, their computational demands limit widespread use, and smaller language models struggle without context. This paper investigates whether LLMs can generalize from labeled examples of predefined tasks to novel tasks. Drawing inspiration from biological neurons and the mechanistic interpretation of the Transformer architecture, we explore the potential for information sharing across tasks. We design a cross-task prompting setup with three LLMs and show that LLMs achieve significant performance improvements despite no examples from the target task in the context. Cross-task prompting leads to a remarkable performance boost of 107% for LLaMA-2 7B, 18.6% for LLaMA-2 13B, and 3.2% for GPT 3.5 on average over zero-shot prompting, and performs comparable to standard in-context learning. The effectiveness of generating pseudo-labels for in-task examples is demonstrated, and our analyses reveal a strong correlation between the effect of cross-task examples and model activation similarities in source and target input tokens. This paper offers a first-of-its-kind exploration of LLMs' ability to solve novel tasks based on contextual signals from different task examples.