MPCS: Neuroplastic Continual Learning via Multi-Component Plasticity and Topology-Aware EWC

📄 arXiv: 2605.02509v1 📥 PDF

作者: Joern Hentsch

分类: cs.LG, cs.NE

发布日期: 2026-05-04

💡 一句话要点

提出MPCS神经可塑性持续学习系统，通过多组件可塑性和拓扑感知EWC实现知识的持续积累。

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: 持续学习 神经可塑性 灾难性遗忘 弹性权重巩固 傅里叶编码

📋 核心要点

  1. 持续学习需要在获取新知识（可塑性）和保持旧知识（稳定性）之间找到平衡，这是一个核心挑战。
  2. MPCS通过集成11种互补机制，如神经发生、傅里叶编码和拓扑感知EWC，构建神经可塑性架构。
  3. 实验表明，傅里叶编码至关重要，全局EWC会降低性能，而移除EWC可以提高性能，并验证了帕累托前沿作为模型压缩指南。

📝 摘要（中文）

持续学习系统面临着可塑性（获取新知识）和稳定性（保持先前知识）之间的根本矛盾。我们引入了MPCS（多可塑性持续系统），这是一种神经可塑性架构，集成了11种互补机制：任务驱动的神经发生、傅里叶编码输入、EWC正则化、元回放、混合巩固、混合门控、突触修剪/再生、赫布更新、任务相似性路由、自适应增长控制和连续神经元重要性跟踪。我们在MEP-BENCH上评估MPCS，这是一个跨越回归、分类、逻辑和混合领域31个任务的多轨道基准，使用任务性能（Perf）、表征多样性（RD）和梯度冲突率（GCR）的三维帕累托准则。在15个消融配置（3个种子 x 4个轨道 x 2000个epoch）中，MPCS实现了94.2的归一化效率得分，使其在14个通过门控系统的9个中位于帕累托前沿。主要发现：（i）傅里叶编码是最关键的组件（移除会使Perf下降30.7个百分点，并且在14%的任务中未能通过MEP门控）；（ii）全局EWC会降低性能（NES = -4.2）；拓扑局部EWC降低了这种惩罚（NES 90.5->91.8），但并未消除它；完全移除EWC会产生MPCS_EFFICIENT，这是性能最高的系统——在高任务相似性状态下（s_bar ~= 0.95）建立单调关系：全局EWC < 拓扑EWC < 无EWC；（iii）帕累托状态评估具有预测性：联合移除两个帕累托支配的组件（EWC + Hebbian）会产生MPCS_EFFICIENT，这以4.7倍更低的计算成本（127 vs. 602分钟）将Perf提高了0.6个百分点，从而验证了帕累托前沿作为可操作的模型压缩指南。

🔬 方法详解

问题定义：持续学习旨在使模型能够不断学习新的任务，而不会忘记之前学习的任务。现有方法在可塑性（学习新知识）和稳定性（保持旧知识）之间存在权衡困境，即“灾难性遗忘”问题。现有的正则化方法，如EWC，虽然能缓解遗忘，但可能过度限制模型的可塑性，导致学习新任务的能力下降。

核心思路：MPCS的核心思路是通过集成多种互补的神经可塑性机制，实现更灵活和高效的持续学习。它旨在通过任务驱动的神经发生来增加模型容量，利用傅里叶编码来改善输入表示，并采用拓扑感知的EWC来更精细地控制知识的保留，同时结合元回放、混合巩固等技术来增强模型的记忆能力。

技术框架：MPCS的整体架构是一个神经可塑性网络，包含以下主要模块： 1. 输入编码：使用傅里叶编码对输入进行转换。 2. 神经发生：根据任务需求动态增加神经元。 3. EWC正则化：使用拓扑感知的EWC来保护重要连接。 4. 元回放：通过回放先前任务的数据来减少遗忘。 5. 混合巩固：结合不同的巩固策略。 6. 混合门控：使用门控机制来控制信息的流动。 7. 突触修剪/再生：动态调整网络连接。 8. Hebbian更新：使用Hebbian学习规则来更新权重。 9. 任务相似性路由：根据任务相似性来路由信息。 10. 自适应增长控制：控制网络的增长速度。 11. 连续神经元重要性跟踪：跟踪神经元的重要性。

关键创新：MPCS的关键创新在于其多组件可塑性方法，它不是依赖于单一的机制，而是将多种互补的机制集成在一起，从而实现更鲁棒和高效的持续学习。此外，拓扑感知的EWC也是一个重要的创新点，它能够更精细地控制知识的保留，避免全局EWC可能导致的过度限制。

关键设计： * 傅里叶编码：使用傅里叶基函数对输入进行编码，以改善输入表示。 * 拓扑感知EWC：根据网络拓扑结构来调整EWC的强度，对重要的连接进行更强的保护。 * MEP-BENCH评估：使用MEP-BENCH基准来评估MPCS的性能，该基准涵盖了多种任务类型和领域。 * 帕累托优化：使用帕累托准则来评估模型的性能，同时考虑任务性能、表征多样性和梯度冲突率。

📊 实验亮点

MPCS在MEP-BENCH基准测试中取得了显著的成果。消融实验表明，傅里叶编码是最关键的组件，移除后性能显著下降。全局EWC会降低性能，而拓扑局部EWC可以减轻这种影响。移除EWC和Hebbian更新后，MPCS_EFFICIENT在性能提升的同时，计算成本显著降低（4.7倍）。MPCS在归一化效率得分上达到了94.2，位于帕累托前沿。

🎯 应用场景

MPCS具有广泛的应用前景，例如在机器人学习中，机器人可以不断学习新的技能，而不会忘记之前学习的技能。在自动驾驶领域，车辆可以不断学习新的驾驶场景，从而提高驾驶安全性。此外，MPCS还可以应用于医疗诊断、金融预测等领域，帮助模型不断适应新的数据和任务。

📄 摘要（原文）

Continual learning systems face a fundamental tension between plasticity -- acquiring new knowledge -- and stability -- retaining prior knowledge. We introduce MPCS (Multi-Plasticity Continual System), a neuroplastic architecture that integrates eleven complementary mechanisms: task-driven neurogenesis, Fourier-encoded inputs, EWC regularization, meta-replay, mixed consolidation, hybrid gating, synapse pruning/regeneration, Hebbian updates, task similarity routing, adaptive growth control, and continuous neuron importance tracking. We evaluate MPCS on MEP-BENCH, a multi-track benchmark spanning 31 tasks across regression, classification, logic, and mixed domains, using a three-dimensional Pareto criterion over task performance (Perf), representation diversity (RD), and gradient conflict rate (GCR). Across 15 ablation configurations (3 seeds x 4 tracks x 2000 epochs), MPCS achieves a Normalized Efficiency Score of 94.2, placing it on the Pareto frontier among 9 of 14 gate-passing systems. Key findings: (i) Fourier encoding is the single most critical component (removal drops Perf by 30.7 pp and fails the MEP gate on 14% of tasks); (ii) global EWC degrades performance (NES = -4.2); topology-local EWC reduces this penalty (NES 90.5->91.8) but does not eliminate it; removing EWC entirely yields MPCS_EFFICIENT, the highest-Perf system -- establishing a monotone relationship in the high task-similarity regime (s_bar ~= 0.95): global EWC < topology EWC < no EWC; (iii) the Pareto status assessment is predictive: removing the two Pareto-dominated components (EWC + Hebbian) jointly yields MPCS_EFFICIENT, which improves Perf by 0.6 pp at 4.7x lower compute cost (127 vs. 602 min), validating the Pareto frontier as an actionable model-compression guide.