Effective LoRA Adapter Routing using Task Representations

📄 arXiv: 2601.21795v1 📥 PDF

作者: Akash Dhasade, Anne-Marie Kermarrec, Igor Pavlovic, Diana Petrescu, Rafael Pires, Mathis Randl, Martijn de Vos

分类: cs.LG, cs.AI

发布日期: 2026-01-29

💡 一句话要点

LORAUTER：利用任务表征实现高效的LoRA适配器路由

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: LoRA适配器 参数高效微调 任务表征 路由算法 大型语言模型

📋 核心要点

  1. 现有方法直接将查询映射到适配器，效率低且难以扩展到大量适配器。
  2. LORAUTER利用从验证集导出的任务嵌入来路由查询，无需适配器训练数据，提升路由效率。
  3. 实验表明，LORAUTER在多个任务上优于基线方法，并在未见过的任务上取得了SOTA结果。

📝 摘要（中文）

本文提出了一种名为LORAUTER的新型路由框架，用于选择和组合LoRA适配器，以实现大型语言模型（LLM）的参数高效的专业化。LORAUTER不依赖适配器的特征，而是使用任务表征来进行路由。与直接将查询映射到适配器的现有方法不同，LORAUTER通过从小型验证集导出的任务嵌入来路由查询，并且不需要适配器训练数据。通过在任务级别操作，LORAUTER实现了高效的路由，其可扩展性取决于任务的数量而不是适配器的数量。在多个任务上的实验表明，LORAUTER始终优于基线路由方法，在存在任务对齐的适配器时，匹配了Oracle性能（101.2%），并在未见过的任务上取得了最先进的结果（+5.2个点）。我们进一步通过将其扩展到超过1500个适配器，证明了LORAUTER对于非常大且嘈杂的适配器池的鲁棒性。

🔬 方法详解

问题定义：现有方法在大型语言模型（LLM）中使用LoRA适配器进行参数高效的微调时，面临着如何有效地选择和组合合适的适配器的问题。现有的路由方法通常直接将查询映射到适配器，这种方法在适配器数量较少时可能有效，但当适配器池规模庞大且包含大量噪声适配器时，效率会显著降低，并且难以泛化到未见过的任务。此外，这些方法通常需要适配器的训练数据，增加了额外的负担。

核心思路：LORAUTER的核心思路是利用任务表征来进行适配器路由，而不是直接基于查询或适配器特征。通过将每个任务映射到一个嵌入向量，LORAUTER可以在任务级别进行路由，从而降低了路由的复杂性，使其能够更好地扩展到大量的适配器。这种方法的关键在于学习一个能够准确表示任务之间关系的嵌入空间，使得相似任务的适配器能够被有效地组合。

技术框架：LORAUTER的整体框架包括以下几个主要阶段：1) 任务嵌入生成：使用小型验证集为每个任务生成任务嵌入。2) 适配器选择：基于查询的任务嵌入，选择与该任务最相关的适配器。3) 适配器组合：将选择的适配器组合起来，形成一个针对特定查询的定制化模型。4) 推理：使用组合后的模型进行推理。

关键创新：LORAUTER最重要的创新在于其使用任务表征进行适配器路由的方式。与现有方法直接将查询映射到适配器不同，LORAUTER通过任务嵌入作为中间层，实现了更高效和可扩展的路由。这种方法不需要适配器的训练数据，并且能够更好地泛化到未见过的任务。此外，LORAUTER还提出了一种新的适配器组合方法，能够有效地利用多个适配器的知识。

关键设计：LORAUTER的关键设计包括：1) 任务嵌入的学习：使用对比学习方法，学习一个能够准确表示任务之间关系的嵌入空间。2) 适配器选择策略：使用余弦相似度等度量方法，选择与查询任务嵌入最相似的适配器。3) 适配器组合方法：使用加权平均等方法，将选择的适配器组合起来，其中权重可以基于适配器与查询任务嵌入的相似度来确定。4) 损失函数：使用交叉熵损失函数等标准损失函数来训练任务嵌入模型。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

LORAUTER在多个任务上 consistently 优于基线路由方法，在存在任务对齐的适配器时，匹配了 Oracle 性能（101.2%），并在未见过的任务上取得了最先进的结果（+5.2 个点）。此外，实验还证明了 LORAUTER 对于非常大且嘈杂的适配器池的鲁棒性，可以扩展到超过 1500 个适配器。

🎯 应用场景

LORAUTER可应用于各种需要参数高效微调的大型语言模型场景，例如自然语言处理、机器翻译、文本生成等。其能够有效管理和利用大量的LoRA适配器，为特定任务定制模型，提高模型性能并降低计算成本。该研究对于推动LLM在资源受限环境下的应用具有重要意义，并为未来的模型定制化和知识迁移提供了新的思路。

📄 摘要（原文）

Low-rank adaptation (LoRA) enables parameter efficient specialization of large language models (LLMs) through modular adapters, resulting in rapidly growing public adapter pools spanning diverse tasks. Effectively using these adapters requires routing: selecting and composing the appropriate adapters for a query. We introduce LORAUTER, a novel routing framework that selects and composes LoRA adapters using task representations rather than adapter characteristics. Unlike existing approaches that map queries directly to adapters, LORAUTER routes queries via task embeddings derived from small validation sets and does not require adapter training data. By operating at the task level, LORAUTER achieves efficient routing that scales with the number of tasks rather than the number of adapters. Experiments across multiple tasks show that LORAUTER consistently outperforms baseline routing approaches, matching Oracle performance (101.2%) when task-aligned adapters exist and achieving state-of-the-art results on unseen tasks (+5.2 points). We further demonstrate the robustness of LORAUTER to very large, noisy adapter pools by scaling it to over 1500 adapters.