Monarch-MoE: Structured Experts for Multimodal Continual Instruction Tuning

📄 arXiv: 2610.13215v1 📥 PDF

作者: Xi Zhang, Boyu Diao, Zesen Chen, Ruiqi Liu, Hangda Liu, Yongjun Xu

分类: cs.LG

发布日期: 2026-10-09

备注: 25 pages, 3 figures

💡 一句话要点

提出Monarch-MoE以解决多模态持续指令调优中的灾难性遗忘问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态学习 持续学习 灾难性遗忘 块对角矩阵 低秩专家 内存优化 模型适应性

📋 核心要点

  1. 现有多模态持续指令调优方法容易导致灾难性遗忘，影响模型对先前任务的记忆。
  2. Monarch-MoE通过引入块对角因素和固定排列连接，实现了块级梯度隔离，减少了任务间的干扰。
  3. 在实验中，Monarch-MoE在首任务遗忘率上表现优异，分别为0.52和0.10，且适配器参数显著减少。

📝 摘要（中文）

在多模态持续指令调优中，学习新任务可能导致对先前知识的灾难性遗忘。尽管多专家LoRA通过专家分配学习，但对稠密低秩专家的更新仍可能影响多个输出特征。我们提出Monarch-MoE，采用块对角因素替代LoRA专家中的稠密因素，并通过固定排列连接。这种结构提供了块级梯度隔离：单个块对的更新仅影响一个输出块，同时保持所有输入和输出块之间的连接。为了使这些紧凑专家在内存受限的硬件上可行，我们结合了批量计算、融合前向操作和优化的反向传递。在MLLM-DCL和UCIT上评估的三种持续学习方法中，Monarch-MoE在减少适配器参数的同时提高了首任务保留率，分别约为75%和50%。

🔬 方法详解

问题定义：论文要解决的问题是多模态持续指令调优中的灾难性遗忘现象。现有方法如多专家LoRA在学习新任务时，更新稠密低秩专家会影响多个输出特征，导致先前知识的遗忘。

核心思路：论文提出Monarch-MoE，通过使用块对角因素替代稠密因素，并通过固定排列连接，实现块级梯度隔离。这种设计使得单个块对的更新仅影响一个输出块，从而减少了任务间的干扰。

技术框架：Monarch-MoE的整体架构包括多个模块：首先是块对角专家的构建，其次是通过批量计算和融合前向操作来优化计算效率，最后是优化的反向传递以适应内存受限的硬件。

关键创新：最重要的技术创新点在于块级梯度隔离的实现，这与现有方法的稠密更新机制形成了本质区别，显著降低了任务间的干扰。

关键设计：在设计中，采用了块对角矩阵结构，结合批量计算和融合操作，确保在内存使用上更加高效，同时保持了模型的性能。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果显示，Monarch-MoE在首任务遗忘率方面表现优异，分别在MLLM-DCL和UCIT上为0.52和0.10，显著低于基线。同时，适配器参数减少约75%和50%，在内存使用和运行时间上也表现出竞争力。

🎯 应用场景

该研究具有广泛的应用潜力，尤其是在需要持续学习和适应新任务的场景中，如智能助手、自动驾驶和机器人控制等领域。通过减少灾难性遗忘，Monarch-MoE能够提升模型在动态环境中的表现，具有重要的实际价值和未来影响。

📄 摘要（原文）

Learning new tasks in multimodal continual instruction tuning can cause catastrophic forgetting of previously acquired knowledge. Although multi-expert LoRA distributes learning across experts, updates to a dense low-rank expert can still affect many output features. We introduce Monarch-MoE, which replaces the dense factors in LoRA experts with block-diagonal factors connected by a fixed permutation. This structure provides blockwise gradient isolation: individual block-pair updates affect only one output block, while connections between all input and output blocks are maintained. To make these compact experts practical on memory-limited hardware, we combine batched computation, fused forward operators, and an optimized backward pass. Across three continual-learning methods evaluated on MLLM-DCL and UCIT with LLaVA-1.5-7B, Monarch-MoE improves first-task retention while reducing adapter parameters by approximately 75% and 50%, respectively. In the main comparison, first-task forgetting is as low as 0.52 percentage points on MLLM-DCL and 0.10 on UCIT, with method-dependent trade-offs in final performance. Our implementation supports fine-tuning and inference on a single 24 GB RTX 4090, with lower measured memory use and competitive runtime in the evaluated settings. Together, these algorithmic and systems improvements make structured experts a practical option for continual adaptation on memory-limited hardware.