From a Prompt to Repertoires: Evolving Functional REpertoires Enable LLM Continual Learning

📄 arXiv: 2610.11373v1 📥 PDF

作者: Fengyuan Liu, Yue Wang, Hangxi Guo, Fengyuan Liu, Chenxu Wu, Yanguang Liu, Mengnan Du

分类: cs.LG, cs.CL

发布日期: 2026-10-08

💡 一句话要点

提出Evolving Functional REpertoires以解决大语言模型的持续学习问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 持续学习 大语言模型 提示优化 功能库 灾难性遗忘 智能体系统 知识适应

📋 核心要点

  1. 现有方法在持续学习中面临灾难性遗忘的问题，提示优化在适应新任务时容易过拟合。
  2. 本文提出Evolving Functional REpertoires（EFRE），通过功能库的演变来适应新任务，避免了单一提示的局限性。
  3. EFRE在三任务连续学习流中表现出色，最终性能比GRPO高出7.50个百分点，且对其他任务的影响显著降低。

📝 摘要（中文）

持续学习对于大型语言模型而言仍然是一个挑战，模型必须在不降低现有能力的情况下获取新技能和知识。现有方法通常通过精心设计模型参数的更新来应对这一挑战。与此不同，提示优化避免了昂贵的参数更新，同时在知识密集型和推理任务上实现了竞争性甚至更优的性能。本文提出的Evolving Functional REpertoires（EFRE）通过用一组功能替代单一提示，使得新任务到来时功能能够演变，从而有效解决了提示优化在连续任务适应中遭遇的灾难性遗忘问题。实验表明，EFRE在三任务连续学习流上表现优异，最终平均性能比GRPO高出7.50个百分点。

🔬 方法详解

问题定义：本文旨在解决大型语言模型在持续学习中面临的灾难性遗忘问题。现有的提示优化方法在适应新任务时容易导致过拟合，无法有效保留旧知识。

核心思路：提出Evolving Functional REpertoires（EFRE），通过维护一组功能而非单一提示，使得新任务的到来能够引发功能的演变，从而在保持旧知识的同时适应新知识。

技术框架：EFRE的整体架构包括功能库的维护与更新，兼容性更新用于细化现有功能，而冲突更新则促使新功能的产生。

关键创新：EFRE的核心创新在于其功能库的动态演变机制，与传统的提示优化方法相比，能够更好地应对新任务的挑战，避免灾难性遗忘。

关键设计：在EFRE中，设计了适应性更新策略，确保在新任务到来时能够有效地调整功能库，同时保持对旧任务的性能稳定。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

实验结果显示，EFRE在三任务连续学习流中实现了比GRPO高出7.50个百分点的最终平均性能。此外，在适应Bio任务后，EFRE对FinQA任务的性能下降仅为1.56个百分点，而基线方法则高达25.10个百分点，显示出其在保持旧知识方面的显著优势。

🎯 应用场景

该研究的潜在应用领域包括智能助手、自动化客服和教育技术等，能够帮助大型语言模型在不断变化的环境中持续学习和适应新任务，提升其智能化水平和用户体验。未来，EFRE有望在更复杂的智能体系统中发挥重要作用，推动持续学习的研究进展。

📄 摘要（原文）

Continual learning remains challenging for large language models, which must enable models to acquire new skills and knowledge without degrading existing capabilities. Existing approaches typically address this challenge by carefully designing how model parameters are updated. In contrast, prompt optimization avoids costly parameter updates while achieving competitive or even superior performance to reinforcement learning methods such as GRPO on individual knowledge-intensive and reasoning tasks. This raises a natural question: \textit{Can prompt optimization, as an efficient adaptation approach, be directly applied to continual learning?} Our analysis shows that, under sequential task adaptation, it suffers from catastrophic forgetting, while optimized prompts accumulate rules that overfit to local task distributions. To address these limitations, we propose \emph{Evolving Functional REpertoires} (EFRE), which replaces a single prompt with a repertoire of functions that evolves as new tasks arrive: compatible updates refine existing functions, while conflicting updates trigger the emergence of new ones. On a three-task continual-learning stream, EFRE achieves a final average performance 7.50 percentage points higher than GRPO. Moreover, after adaptation to the Bio task, its performance on FinQA decreases by only 1.56 percentage points, compared with 25.10 percentage points for the base prompt optimization method. We further instantiate EFRE in a minimal agent system and observe consistent improvements across different backbone models. Overall, these results demonstrate EFRE's strong performance in continual learning for large language models and highlight its substantial potential for continual learning in advanced agent systems.