Functional Subnetwork Localization for Efficient Continual Learning in Large Language Models
作者: Shuoran Jiang, Wentao Zhu, Yang Xiang, Dongfeng Li, Yunan Zhang, Mengchen Zhao, Yuhui Guo, Kai Chen, Youcheng Pan, Xiangping Wu, Qingcai Chen
分类: cs.AI
发布日期: 2026-10-15
💡 一句话要点
提出功能子网络定位方法以解决大语言模型的持续学习问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 持续学习 大语言模型 功能子网络 灾难性遗忘 优化算法 智能系统 自然语言处理
📋 核心要点
- 现有的大语言模型在持续学习中面临灾难性遗忘的问题，难以有效保留先前的知识和技能。
- 本文提出了一种通过功能子网络定位的方法，结合功能隔离内存高效优化（CiMEO）框架，实现了针对性的学习和资源优化。
- 在多个生成基准测试中，CiMEO在1.4百万个指令的实验中表现出色，显著提高了模型的平均性能，且有效减轻了遗忘现象。
📝 摘要（中文）
生物智能能够在不断适应新信息的同时保留先前技能，而大型语言模型（LLMs）的持续学习却容易遭遇灾难性遗忘。本文提出了一种通过识别功能专用子网络来实现有针对性且资源高效的适应方法。利用梯度归因分析，我们定位了认知相关的功能子网络，这些子网络之间的重叠极低。基于此，我们提出了功能隔离内存高效优化（CiMEO）框架，该框架将每个训练样本路由到相应的功能子网络，从而限制参数更新和优化器状态的变化。在1.4百万个顺序指令的实验中，CiMEO在五个生成基准上实现了最高的平均性能，同时减轻了灾难性遗忘。
🔬 方法详解
问题定义：本文旨在解决大型语言模型在持续学习过程中遭遇的灾难性遗忘问题。现有方法往往无法有效保留先前知识，导致模型性能下降。
核心思路：论文的核心思路是通过定位功能专用子网络，来实现有针对性的学习。通过限制参数更新到特定子网络，模型能够在学习新信息时更好地保留旧知识。
技术框架：整体架构包括梯度归因分析用于子网络定位，以及功能隔离内存高效优化（CiMEO）框架。该框架将训练样本路由到相应的功能子网络，确保优化过程的高效性。
关键创新：最重要的创新在于提出了功能子网络定位的方法，这一方法使得不同子网络之间的重叠极低，从而实现了更高效的知识保留，与传统方法相比具有显著优势。
关键设计：在设计上，CiMEO框架通过限制参数更新和优化器状态到特定的子网络，采用了特定的损失函数和优化策略，以确保模型在新任务学习时不遗忘旧任务的知识。具体的参数设置和网络结构细节在实验中进行了优化。
🖼️ 关键图片
📊 实验亮点
在1.4百万个顺序指令的实验中，CiMEO在五个生成基准上实现了最高的平均性能，显著优于其他对比方法，且有效减轻了灾难性遗忘现象。这一结果表明，功能子网络定位在持续学习中的有效性和实用性。
🎯 应用场景
该研究的潜在应用领域包括自然语言处理、智能对话系统和自动编程等。通过提高大语言模型的持续学习能力，能够在动态环境中更好地适应新任务，提升模型的实际应用价值和用户体验。未来，该方法可能会影响更多领域的智能系统设计，推动持续学习技术的发展。
📄 摘要（原文）
Biological intelligence continually adapts to new information while retaining prior skills through localized plasticity. In contrast, continual learning in large language models (LLMs) remains vulnerable to catastrophic forgetting. A promising direction is to identify functionally specialized subnetworks within LLMs that enable targeted and resource-efficient adaptation. Using gradient-attribution profiling, we localize cognition-associated functional subnetworks exhibiting extremely low mutual overlap. Building on this finding, we propose Function-isolated Memory-Efficient Optimization (CiMEO), a continual learning framework that routes each training example to its corresponding functional subnetwork, restricting parameter updates and optimizer states to selected regions. Across 1.4 million sequential instructions, CiMEO achieves the highest average performance among the compared methods on five generative benchmarks spanning programming, examination-style tasks, and mathematical reasoning, while mitigating catastrophic forgetting. Subspace-overlap and principal-angle analyses further indicate that localized updates help preserve pre-trained representations, highlighting functional subnetwork localization as a practical approach to efficient and stable continual learning in LLMs.