Continual Learning Using Only Large Language Model Prompting

📄 arXiv: 2412.15479v1 📥 PDF

作者: Jiabao Qiu, Zixuan Ke, Bing Liu

分类: cs.CL, cs.AI

发布日期: 2024-12-20

备注: To Appear in COLING-2025 (short paper)

💡 一句话要点

提出CLOB：一种仅使用大语言模型提示的持续学习范式

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 持续学习 大语言模型 提示学习 增量学习 知识蒸馏 API访问 增量摘要

📋 核心要点

  1. 现有持续学习方法通常需要微调LLM或添加可训练参数，这对于API访问的LLM不适用。
  2. CLOB通过仅使用口头提示进行增量学习，将LLM视为黑盒，无需微调或添加参数。
  3. 提出的CIS技术基于增量摘要，克服了LLM的输入长度限制，并在实验中显著优于基线方法。

📝 摘要（中文）

本文介绍了一种新颖的持续学习(CL)范式CLOB，其中大语言模型(LLM)被视为一个黑盒。学习通过仅使用口头提示以增量方式完成。CLOB不微调LLM的任何部分，也不向其添加任何可训练的参数。它特别适用于通过API访问的LLM。我们还提出了一种新的CL技术，称为CIS，它基于增量摘要，同时也克服了LLM的输入长度限制。实验表明，CIS的性能大大优于基线。

🔬 方法详解

问题定义：论文旨在解决持续学习场景下，如何利用API访问的大语言模型（LLM）进行增量学习的问题。现有方法通常需要对LLM进行微调或者添加额外的可训练参数，这对于只能通过API访问的LLM来说是不可行的。此外，LLM的输入长度限制也是一个挑战。

核心思路：论文的核心思路是利用LLM的prompting能力，通过精心设计的口头提示（verbal prompting）来引导LLM学习新的任务，而无需修改LLM本身的参数。同时，利用增量摘要技术来克服LLM的输入长度限制，使得LLM能够记住之前学习过的任务信息。

技术框架：CLOB框架主要包含两个部分：一是利用口头提示进行增量学习；二是利用CIS（Continual Incremental Summarization）进行知识的持续积累。对于每个新的任务，首先利用口头提示让LLM学习该任务，然后利用CIS对学习到的知识进行总结，并将总结后的知识作为后续任务学习的上下文。

关键创新：最重要的创新点在于提出了一种完全基于prompting的持续学习方法，无需对LLM进行任何修改。这使得利用API访问的LLM进行持续学习成为可能。此外，CIS技术通过增量摘要有效地解决了LLM的输入长度限制问题。

关键设计：CIS的关键设计在于如何有效地对LLM学习到的知识进行总结。论文采用了一种增量式的摘要方法，即每次只对新学习到的知识进行总结，然后将总结后的知识与之前的摘要进行合并。这种方法可以有效地减少计算量，并避免遗忘之前学习到的知识。具体的prompt设计和摘要算法细节在论文中有详细描述，但此处未给出具体参数。

🖼️ 关键图片

fig_0

📊 实验亮点

实验结果表明，提出的CIS技术在持续学习任务上显著优于基线方法。具体的性能提升幅度在论文中给出，但此处未提供具体数值。该结果验证了基于prompting的持续学习方法的可行性和有效性。

🎯 应用场景

该研究成果可应用于各种需要持续学习的场景，例如智能客服、对话系统、信息检索等。特别是在只能通过API访问LLM的情况下，该方法具有很高的实用价值。未来可以进一步探索如何设计更有效的prompt和摘要算法，以提高持续学习的性能。

📄 摘要（原文）

We introduce CLOB, a novel continual learning (CL) paradigm wherein a large language model (LLM) is regarded as a black box. Learning is done incrementally via only verbal prompting. CLOB does not fine-tune any part of the LLM or add any trainable parameters to it. It is particularly suitable for LLMs that are accessible via APIs. We also propose a new CL technique, called CIS, based on incremental summarization that also overcomes the LLM's input length limit. Experiments show CIS outperforms baselines by a very large margin.