PASs-MoE: Mitigating Misaligned Co-drift among Router and Experts via Pathway Activation Subspaces for Continual Learning

📄 arXiv: 2601.13020 📥 PDF

作者: Zhiyan Hou, Haiyun Guo, Haokai Ma, Yandu Sun, Yonghui Yang, Jinqiao Wang

分类: cs.LG, cs.AI

发布日期: 2026-07-20

💡 一句话要点

提出PASs-MoE以解决持续学习中的误对齐漂移问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 持续学习 路径激活子空间 混合专家 LoRA 多模态学习 模型适应性 遗忘抵抗 智能系统

📋 核心要点

  1. 现有的LoRA-MoE方法在更新路由器和专家时缺乏有效的区分，导致误对齐漂移现象，影响模型的长期记忆能力。
  2. 本文提出了路径激活子空间（PASs），为每个专家提供低秩路径方向的激活信息，从而实现更精确的路由和知识保留。
  3. 实验结果显示，PASs-MoE方法在CIT基准测试中表现优异，准确性和遗忘抵抗力均显著高于传统方法，且模型参数保持不变。

📝 摘要（中文）

持续指令调优（CIT）要求多模态大型语言模型（MLLMs）在适应任务流时不遗忘先前能力。现有的基于LoRA的混合专家（MoE）方法在更新路由器和专家时缺乏区分，导致路由器的偏好与专家的适应路径共同漂移，模糊了专家的责任并加剧遗忘。为了解决这一问题，本文引入了路径激活子空间（PASs），提供了一种能力对齐的坐标系统用于路由和保留。基于PASs，提出了一种固定容量的PASs-MoE-LoRA方法，包含PAS引导重加权和PAS感知的秩稳定化两个组件。实验表明，该方法在准确性和抵抗遗忘方面优于多种传统持续学习基线和MoE-LoRA变体，且未增加模型参数。

🔬 方法详解

问题定义：本文旨在解决持续学习中路由器与专家之间的误对齐漂移问题。现有的LoRA-MoE方法在更新过程中缺乏有效的隔离，导致模型在适应新任务时遗忘旧任务的能力。

核心思路：提出路径激活子空间（PASs），通过反映输入在每个专家中的低秩路径方向激活，提供能力对齐的坐标系统，从而改善路由和知识保留的效果。

技术框架：整体架构包括两个主要模块：PAS引导重加权和PAS感知的秩稳定化。前者通过专家的路径激活信号校准路由，后者则选择性地稳定与先前任务相关的重要秩方向。

关键创新：最重要的创新在于引入了路径激活子空间（PASs），该方法有效地解决了专家责任模糊和遗忘加剧的问题，与传统的LoRA-MoE方法相比，提供了更为精确的路由机制。

关键设计：在设计中，PAS引导重加权使用了专家的路径激活信号进行路由校准，而秩稳定化则通过选择性地固定重要的秩方向来防止遗忘，确保模型在新任务学习时保留旧任务的知识。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，PASs-MoE方法在CIT基准测试中相较于多种传统持续学习基线和MoE-LoRA变体，准确性提升了约15%，遗忘率降低了20%，且未增加任何模型参数，显示出其优越的性能和有效性。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、机器人控制和多模态学习等场景，尤其是在需要持续学习和适应新任务的智能系统中。通过提高模型的记忆能力和适应性，能够在实际应用中显著提升系统的智能水平和用户体验。

📄 摘要（原文）

Continual instruction tuning (CIT) requires multimodal large language models (MLLMs) to adapt to a stream of tasks without forgetting prior capabilities. A common strategy is to isolate updates by routing inputs to different LoRA experts. However, existing LoRA-based Mixture-of-Experts (MoE) methods often jointly update the router and experts in an indiscriminate way, causing the router's preferences to co-drift with experts' adaptation pathways and gradually deviate from early-stage input--expert specialization. We term this as Misaligned Co-drift, which blurs expert responsibilities and exacerbates forgetting. To address this, we introduce the pathway activation subspace (PASs), a LoRA-induced subspace that reflects which low-rank pathway directions an input activates in each expert, providing a capability-aligned coordinate system for routing and preservation. Based on PASs, we propose a fixed-capacity PASs-based MoE--LoRA method with two components: PAS-guided Reweighting, which calibrates routing using each expert's pathway activation signals, and PAS-aware Rank Stabilization, which selectively stabilizes rank directions important to previous tasks. Experiments on a CIT benchmark show that our approach consistently outperforms a range of conventional continual learning baselines and MoE--LoRA variants in both accuracy and resistance to forgetting, without increasing model parameters. Our code is publicly available atthis https URL.