NeuroLoRA: Context-Aware Neuromodulation for Parameter-Efficient Multi-Task Adaptation

📄 arXiv: 2603.12378v1 📥 PDF

作者: Yuxin Yang, Haoran Zhang, Mingxuan Li, Jiachen Xu, Ruoxi Shen, Zhenyu Wang, Tianhao Liu, Siqi Chen, Weilin Huang

分类: cs.LG, cs.CL

发布日期: 2026-03-12

备注: work in progress

💡 一句话要点

NeuroLoRA：基于上下文感知神经调控的参数高效多任务自适应方法

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 参数高效微调 多任务学习 持续学习 神经调控 混合专家模型

📋 核心要点

  1. 现有FlyLoRA方法采用静态路由机制，忽略了输入上下文信息，限制了模型对不同任务的适应能力。
  2. NeuroLoRA引入上下文感知的神经调控门，动态调整专家选择，提升模型对不同输入的响应能力。
  3. 实验结果表明，NeuroLoRA在多个任务上优于FlyLoRA等基线，同时保持了参数效率和持续学习能力。

📝 摘要（中文）

参数高效微调（PEFT）技术，特别是低秩适应（LoRA），已成为将大型语言模型（LLM）适应于下游任务的关键。最近的FlyLoRA框架成功地利用了生物启发式稀疏随机投影来减轻参数干扰，但它依赖于静态的、基于幅度的路由机制，而忽略了输入上下文。本文提出了NeuroLoRA，一种新颖的基于混合专家（MoE）的LoRA框架，其灵感来自生物神经调控——基于上下文动态调节神经元兴奋性。NeuroLoRA保留了冻结随机投影的计算效率，同时引入了一个轻量级的、可学习的神经调控门，该门在专家选择之前有根据地重新缩放投影空间。我们进一步提出了对比正交性损失，以显式地强制专家子空间之间的分离，从而增强任务解耦和持续学习能力。在MMLU、GSM8K和ScienceQA上的大量实验表明，NeuroLoRA在单任务自适应、多任务模型合并和顺序持续学习场景中始终优于FlyLoRA和其他强大的基线，同时保持了相当的参数效率。

🔬 方法详解

问题定义：现有参数高效微调方法，如FlyLoRA，虽然利用随机投影降低参数干扰，但其静态路由机制无法根据输入上下文动态调整，限制了模型在多任务学习和持续学习场景下的性能。模型无法区分不同任务的输入，导致参数更新相互干扰，影响学习效果。

核心思路：NeuroLoRA的核心在于引入生物神经调控的理念，通过一个轻量级的、可学习的神经调控门，根据输入上下文动态地调整LoRA的投影空间。该调控门的作用类似于神经元兴奋性的调节，使得模型能够根据不同的输入选择不同的专家，从而实现上下文感知的参数调整。

技术框架：NeuroLoRA在LoRA的基础上，增加了一个神经调控模块。该模块接收输入上下文信息，并输出一个调制向量，用于重新缩放LoRA的投影矩阵。然后，通过一个混合专家（MoE）层选择合适的专家进行参数更新。整体流程包括：1) 输入上下文编码；2) 神经调控门生成调制向量；3) 调制向量缩放LoRA投影矩阵；4) MoE层选择专家；5) LoRA更新模型参数。

关键创新：NeuroLoRA的关键创新在于引入了上下文感知的神经调控机制，使得模型能够根据输入动态地调整参数更新策略。与静态路由方法相比，NeuroLoRA能够更好地适应不同的任务和输入，从而提高模型的性能。此外，NeuroLoRA还引入了对比正交性损失，以显式地强制专家子空间之间的分离，进一步增强了任务解耦和持续学习能力。

关键设计：神经调控门采用轻量级神经网络实现，以保证参数效率。对比正交性损失旨在最大化不同专家子空间之间的距离，其具体形式为：L = - Σ cos(θ_ij)，其中θ_ij表示第i个和第j个专家子空间之间的角度。MoE层的专家数量是一个重要的超参数，需要根据具体任务进行调整。此外，调制向量的维度和神经调控门的网络结构也会影响模型的性能。

📊 实验亮点

实验结果表明，NeuroLoRA在MMLU、GSM8K和ScienceQA等多个基准测试中，显著优于FlyLoRA和其他基线方法。例如，在多任务模型合并场景中，NeuroLoRA相比FlyLoRA取得了平均超过2%的性能提升。此外，NeuroLoRA在持续学习场景中也表现出更强的鲁棒性和适应性。

🎯 应用场景

NeuroLoRA适用于各种需要参数高效微调的大型语言模型应用场景，例如多任务学习、持续学习、个性化推荐、自然语言生成等。该方法能够有效提升模型在不同任务上的性能，同时降低计算成本和存储需求，具有广泛的应用前景。

📄 摘要（原文）

Parameter-Efficient Fine-Tuning (PEFT) techniques, particularly Low-Rank Adaptation (LoRA), have become essential for adapting Large Language Models (LLMs) to downstream tasks. While the recent FlyLoRA framework successfully leverages bio-inspired sparse random projections to mitigate parameter interference, it relies on a static, magnitude-based routing mechanism that is agnostic to input context. In this paper, we propose NeuroLoRA, a novel Mixture-of-Experts (MoE) based LoRA framework inspired by biological neuromodulation -- the dynamic regulation of neuronal excitability based on context. NeuroLoRA retains the computational efficiency of frozen random projections while introducing a lightweight, learnable neuromodulation gate that contextually rescales the projection space prior to expert selection. We further propose a Contrastive Orthogonality Loss to explicitly enforce separation between expert subspaces, enhancing both task decoupling and continual learning capacity. Extensive experiments on MMLU, GSM8K, and ScienceQA demonstrate that NeuroLoRA consistently outperforms FlyLoRA and other strong baselines across single-task adaptation, multi-task model merging, and sequential continual learning scenarios, while maintaining comparable parameter efficiency.