CoDe-LoRA: Mitigating the Orthogonality Dilemma in Continual Learning of LLMs via Knowledge Consolidation and Decoupling

📄 arXiv: 2610.08312v1 📥 PDF

作者: Maoqi Liu, Quan Fang, Yufei He

分类: cs.AI, cs.CL, cs.LG

发布日期: 2026-10-06

备注: Accepted to EMNLP 2026 (Main Conference)

🔗 代码/项目: GITHUB

💡 一句话要点

提出CoDe-LoRA以解决大语言模型的正交困境问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 持续学习 大语言模型 知识巩固 正交困境 低秩适应 语义路由 任务适应性

📋 核心要点

  1. 现有方法在任务参数隔离上过于严格，导致语义相关任务之间的知识转移受阻。
  2. CoDe-LoRA通过知识巩固与解耦的方式，灵活处理通用知识与任务特定知识的关系。
  3. 实验表明，CoDe-LoRA在多个基准测试中表现优异，平均准确率优于现有方法。

📝 摘要（中文）

持续学习（CL）对于大语言模型（LLMs）适应不断变化的任务至关重要。为减轻灾难性遗忘，近期的研究采用低秩适应与正交投影（如O-LoRA）来隔离任务参数。然而，我们发现这种严格的几何约束引发了“正交困境”：参数的刚性隔离阻碍了语义相关任务之间共享表示的转移与积累。为此，本文提出了一种新的无重放方法，称为知识巩固与解耦LoRA（CoDe-LoRA），将学习过程分解为巩固通用知识和解耦任务特定知识。CoDe-LoRA利用自适应零空间投影机制和语义路由来平衡知识积累与任务特定适应。实验结果显示，CoDe-LoRA在四个基础模型和三个CL基准上实现了最佳平均准确率。

🔬 方法详解

问题定义：本文旨在解决大语言模型在持续学习中面临的正交困境，现有方法如O-LoRA在任务参数隔离上过于严格，导致知识转移受阻，影响模型的适应能力。

核心思路：CoDe-LoRA的核心思想是将学习过程分为两个阶段：巩固通用知识和解耦任务特定知识，通过这种方式来平衡知识的积累与任务适应性。

技术框架：CoDe-LoRA的整体架构包括自适应零空间投影机制和语义路由模块，前者用于有效地处理知识的积累，后者则确保任务特定知识的适应性。

关键创新：CoDe-LoRA的主要创新在于其无重放的学习策略，通过解耦知识的方式，克服了传统方法中存在的正交困境，促进了知识的有效转移。

关键设计：在设计上，CoDe-LoRA采用了自适应的零空间投影机制，确保了知识的有效整合，同时通过语义路由实现了任务特定知识的灵活适应。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，CoDe-LoRA在四个基础模型和三个持续学习基准上均取得了最佳平均准确率，相较于传统方法，准确率提升幅度达到X%（具体数值待补充），证明了其在知识转移和任务适应性方面的有效性。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、对话系统和智能助手等，能够帮助大语言模型更好地适应动态变化的任务环境，提高其在实际应用中的表现和可靠性。未来，该方法可能推动持续学习技术在更多领域的应用，提升智能系统的学习能力和适应性。

📄 摘要（原文）

Continual learning (CL) is essential for Large Language Models (LLMs) to sequentially adapt to evolving tasks. To mitigate catastrophic forgetting, recent advances implement low-rank adaptation with orthogonal projections (e.g., O-LoRA) to isolate task parameters. However, we reveal that such strict geometric constraints trigger an "Orthogonality Dilemma": rigid parameter isolation impedes the transfer and accumulation of shared representations across semantically related tasks. In this work, we propose a new replay-free method, called Consolidation and Decoupling LoRA (CoDe-LoRA), for CL of LLMs. CoDe-LoRA disentangles the learning process into Consolidating Universal Knowledge and Decoupling Task-Specific Knowledge. To achieve this, CoDe-LoRA leverages an adaptive null space projection mechanism and semantic routing to balance knowledge accumulation with task-specific adaptation. Experimental results across four backbones and three CL benchmarks show that CoDe-LoRA achieves the best average accuracy. Our code is available at https://github.com/Estrellajer/CoDe-LoRA.