In-context Continual Learning Assisted by an External Continual Learner

📄 arXiv: 2412.15563v1 📥 PDF

作者: Saleh Momeni, Sahisnu Mazumder, Zixuan Ke, Bing Liu

分类: cs.CL, cs.AI, cs.LG

发布日期: 2024-12-20

💡 一句话要点

提出InCA，利用外部持续学习器辅助上下文学习，实现可扩展的无灾难性遗忘持续学习。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 持续学习 上下文学习 灾难性遗忘 大型语言模型 外部学习器

📋 核心要点

  1. 现有持续学习方法依赖微调LLM，但存在灾难性遗忘问题，且上下文学习的扩展性受限。
  2. InCA方法通过外部持续学习器预选类别，限制上下文学习提示长度，提升可扩展性。
  3. 实验表明，InCA显著优于现有持续学习基线，实现了性能的显著提升。

📝 摘要（中文）

现有的持续学习（CL）方法主要依赖于微调或调整大型语言模型（LLM），但仍然遭受灾难性遗忘（CF）的困扰。很少有工作利用上下文学习（ICL）来利用LLM中广泛的知识进行CL，而无需更新任何参数。然而，在ICL中增量学习每个新任务需要将来自该任务每个类别的训练样本添加到提示中，这会随着提示长度的增加而阻碍可扩展性。这个问题不仅导致提示过长，超出底层LLM的输入token限制，还会由于过度扩展的上下文而降低模型的性能。为了解决这个问题，我们引入了InCA，一种新颖的方法，它将外部持续学习器（ECL）与ICL集成，以实现可扩展的CL，而没有CF。ECL被增量构建，以为每个测试实例预先选择一小部分可能的类别。通过将ICL提示限制为仅这些选定的类别，InCA可以防止提示长度变得过长，同时保持高性能。实验结果表明，InCA显著优于现有的CL基线，实现了显著的性能提升。

🔬 方法详解

问题定义：论文旨在解决持续学习中，利用上下文学习（ICL）时，由于任务数量增加导致提示（prompt）过长，超出大型语言模型（LLM）的输入token限制，从而影响模型性能和可扩展性的问题。现有方法要么依赖微调，容易发生灾难性遗忘，要么直接使用ICL，但无法有效控制prompt长度。

核心思路：论文的核心思路是引入一个外部持续学习器（ECL），该ECL负责为每个测试样本预先选择一小部分最相关的类别。然后，ICL的prompt只包含这些选定类别的示例，从而有效限制了prompt的长度，避免了因prompt过长导致的性能下降和可扩展性问题。

技术框架：InCA的整体框架包含两个主要模块：外部持续学习器（ECL）和上下文学习（ICL）模块。ECL负责增量学习新任务，并为每个测试样本预测最相关的类别集合。ICL模块则利用ECL预测的类别集合，构建一个精简的prompt，并使用LLM进行预测。整个流程是先用ECL进行类别预选，再用ICL进行最终预测。

关键创新：InCA的关键创新在于将外部持续学习器与上下文学习相结合，利用ECL来控制ICL的prompt长度。这种方法既能利用LLM的预训练知识，又能避免prompt过长带来的问题，实现了可扩展的持续学习。与现有方法相比，InCA不需要微调LLM，避免了灾难性遗忘，同时也能处理更长的任务序列。

关键设计：ECL可以使用任何持续学习算法进行训练，论文中具体使用了某种持续学习算法（具体算法未知）。ECL的输出是一个类别概率分布，从中选择概率最高的K个类别作为ICL的候选类别。ICL的prompt构建方式是，对于每个选定的类别，随机选择若干个训练样本作为示例。K和每个类别选择的样本数量是关键的超参数，需要根据具体任务进行调整。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，InCA在多个持续学习基准数据集上显著优于现有方法。具体而言，InCA在性能上取得了显著的提升（具体提升幅度未知），同时有效控制了prompt的长度，验证了其可扩展性。与直接使用ICL相比，InCA在长任务序列上的性能优势更加明显。

🎯 应用场景

InCA方法可应用于需要持续学习新任务，但计算资源有限或对灾难性遗忘敏感的场景，例如：智能客服、自动驾驶、医疗诊断等。该方法能够使模型在不断学习新知识的同时，保持对旧知识的记忆，提升模型的适应性和鲁棒性。未来，该方法可以进一步扩展到多模态持续学习，例如同时学习图像和文本信息。

📄 摘要（原文）

Existing continual learning (CL) methods mainly rely on fine-tuning or adapting large language models (LLMs). They still suffer from catastrophic forgetting (CF). Little work has been done to exploit in-context learning (ICL) to leverage the extensive knowledge within LLMs for CL without updating any parameters. However, incrementally learning each new task in ICL necessitates adding training examples from each class of the task to the prompt, which hampers scalability as the prompt length increases. This issue not only leads to excessively long prompts that exceed the input token limit of the underlying LLM but also degrades the model's performance due to the overextended context. To address this, we introduce InCA, a novel approach that integrates an external continual learner (ECL) with ICL to enable scalable CL without CF. The ECL is built incrementally to pre-select a small subset of likely classes for each test instance. By restricting the ICL prompt to only these selected classes, InCA prevents prompt lengths from becoming excessively long, while maintaining high performance. Experimental results demonstrate that InCA significantly outperforms existing CL baselines, achieving substantial performance gains.