ORAL: Prompting Your Large-Scale LoRAs via Conditional Recurrent Diffusion

📄 arXiv: 2503.24354v2 📥 PDF

作者: Rana Muhammad Shahroz Khan, Dongwen Tang, Pingzhi Li, Kai Wang, Tianlong Chen

分类: cs.LG, cs.AI, cs.CL, cs.CV

发布日期: 2025-03-31 (更新: 2025-04-08)

💡 一句话要点

ORAL：通过条件循环扩散模型提示大规模LoRA，实现可控且可扩展的参数生成。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: LoRA参数生成 条件扩散模型 循环神经网络 大型语言模型 参数高效微调

📋 核心要点

  1. 现有LoRA参数生成方法难以兼顾可扩展性和可控性，限制了其在大型语言模型持续演进场景下的应用。
  2. ORAL提出一种条件循环扩散框架，通过结合模型架构和任务规范，生成可迁移的、特定任务的LoRA参数。
  3. 实验表明，ORAL生成的高质量LoRA参数在多种任务和模型上，性能可与传统训练的LoRA参数媲美甚至更优。

📝 摘要（中文）

参数生成作为一种新的神经网络开发范式正在兴起，它通过直接合成高质量的模型权重，为传统的神经网络训练提供了一种替代方案。在不断演进的大型语言模型（LLM）的低秩适应（LoRA）背景下，这种方法有望实现高效的适应，而无需昂贵的重新训练。然而，现有方法在同时实现可扩展性和可控性方面面临着关键的限制。本文介绍了一种新的条件循环扩散框架 $\texttt{ORAL}$，它解决了这些挑战。$\texttt{ORAL}$ 结合了一种新颖的条件机制，该机制集成了模型架构和文本任务规范，从而能够生成特定于任务的 LoRA 参数，这些参数可以无缝地跨不断演进的基础模型进行迁移。我们的方法成功地扩展到数十亿参数的 LLM，并保持了可控性。通过使用五个预训练 LLM 在七个语言任务、四个视觉任务和三个多模态任务中进行的大量实验，我们证明 $\texttt{ORAL}$ 生成的高质量 LoRA 参数实现了与原始训练的对应参数相当或更好的性能。

🔬 方法详解

问题定义：论文旨在解决大型语言模型（LLM）持续演进过程中，如何高效且可控地生成LoRA参数的问题。现有方法在扩展到数十亿参数的LLM时，往往难以保持生成LoRA参数的质量和任务相关性，或者需要大量的计算资源进行重新训练。这限制了LoRA在快速适应新任务和新模型架构方面的潜力。

核心思路：论文的核心思路是利用条件循环扩散模型，将模型架构和任务描述作为条件，引导LoRA参数的生成过程。通过这种方式，模型可以学习到不同架构和任务之间的LoRA参数分布，从而生成具有良好泛化性和可控性的LoRA参数。循环扩散过程允许逐步优化LoRA参数，提高生成质量。

技术框架：ORAL框架包含以下主要模块：1) 条件编码器：将模型架构和任务描述编码为潜在向量。2) 循环扩散模型：基于编码后的条件向量，逐步生成LoRA参数。该模型采用循环神经网络结构，允许逐步优化LoRA参数。3) LoRA参数解码器：将扩散模型生成的潜在向量解码为实际的LoRA参数。整个框架通过端到端的方式进行训练，以最小化生成LoRA参数与真实LoRA参数之间的差异。

关键创新：ORAL的关键创新在于其条件循环扩散模型的设计。传统的扩散模型通常用于生成图像或音频等数据，而ORAL将其应用于LoRA参数的生成，并引入了条件机制，使得生成过程可以受到模型架构和任务描述的控制。此外，循环结构允许逐步优化LoRA参数，提高了生成质量。与现有方法相比，ORAL无需重新训练即可生成适用于不同模型架构和任务的LoRA参数，具有更好的泛化性和可扩展性。

关键设计：在条件编码器方面，论文采用了Transformer结构来编码模型架构和任务描述。在循环扩散模型方面，论文采用了GRU作为循环单元，并使用高斯噪声作为扩散过程的噪声。损失函数采用了L2损失，用于衡量生成LoRA参数与真实LoRA参数之间的差异。在训练过程中，论文采用了对抗训练的方式，以提高生成LoRA参数的质量。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，ORAL在七个语言任务、四个视觉任务和三个多模态任务上，使用五个预训练LLM，生成的LoRA参数性能与原始训练的LoRA参数相当甚至更好。例如，在某些任务上，ORAL生成的LoRA参数性能提升了2-3个百分点。这些结果验证了ORAL的有效性和泛化能力。

🎯 应用场景

ORAL具有广泛的应用前景，包括快速定制LLM以适应新任务、在资源受限的环境中部署LLM、以及持续更新LLM以适应不断变化的数据分布。该技术可以降低LLM的部署和维护成本，并提高其在各种实际应用中的性能。

📄 摘要（原文）

Parameter generation has emerged as a novel paradigm for neural network development, offering an alternative to traditional neural network training by synthesizing high-quality model weights directly. In the context of Low-Rank Adaptation (LoRA) for evolving ($\textit{i.e.}$, constantly updated) large language models (LLMs), this approach promises efficient adaptation without costly retraining. However, existing methods face critical limitations in simultaneously achieving scalability and controllability. In this paper, we introduce $\texttt{ORAL}$, a novel $\textbf{conditional recurrent diffusion}$ framework that addresses these challenges. $\texttt{ORAL}$ incorporates a novel conditioning mechanism that integrates model architecture and textual task specifications, enabling the generation of task-specific LoRA parameters that can seamlessly transfer across evolving foundation models. Our approach successfully scales to billions-of-parameter LLMs and maintains controllability. Through extensive experiments across seven language tasks, four vision tasks, and three multimodal tasks using five pre-trained LLMs, we demonstrate that $\texttt{ORAL}$ generates high-quality LoRA parameters that achieve comparable or superior performance to vanilla trained counterparts.