LoRA-X: Bridging Foundation Models with Training-Free Cross-Model Adaptation

📄 arXiv: 2501.16559v2 📥 PDF

作者: Farzad Farhadzadeh, Debasmit Das, Shubhankar Borse, Fatih Porikli

分类: cs.CV

发布日期: 2025-01-27 (更新: 2025-02-04)

备注: Accepted to ICLR 2025

💡 一句话要点

提出LoRA-X，实现LoRA模块在不同基础模型间的免训练迁移，解决模型替换后的重训练问题。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: LoRA 参数高效微调 跨模型迁移 免训练 适配器 文本到图像生成 Stable Diffusion

📋 核心要点

  1. 现有LoRA微调方法在基础模型更换后需要重新训练，但原始数据常因隐私问题不可得，合成数据质量难以保证。
  2. LoRA-X通过在源模型子空间内操作适配器，并仅在目标模型相似层应用，实现了LoRA参数的免训练迁移。
  3. 实验表明，LoRA-X在Stable Diffusion v1.5和XL等文本到图像生成模型上有效，无需重新训练即可迁移LoRA模块。

📝 摘要（中文）

大型基础模型的日益普及导致了对参数高效微调方法（如LoRA）的需求增加。LoRA在特定基础模型上只需少量额外参数即可达到与全模型微调相当的性能。然而，当这些基础模型被弃用和替换时，所有相关的LoRA模块都必须重新训练，这需要访问原始训练数据或大量模拟原始分布的合成数据。由于隐私或许可问题，原始数据通常无法访问，而生成合成数据可能不切实际且代表性不足，这大大复杂化了微调过程。为了解决这个问题，我们引入了一种新的适配器LoRA-X，它支持LoRA参数在源模型和目标模型之间的免训练迁移，从而消除了对原始或合成训练数据的需求。我们的方法强制适配器在源基础模型的子空间内运行。这种约束是必要的，因为我们对目标模型的先验知识仅限于其权重，并且确保适配器可迁移性的标准仅限于目标基础模型的权重和子空间。为了促进源模型的LoRA参数到目标模型的迁移，我们仅在目标模型中表现出可接受的子空间相似性水平的层中使用适配器。我们广泛的实验证明了LoRA-X在文本到图像生成方面的有效性，包括Stable Diffusion v1.5和Stable Diffusion XL。

🔬 方法详解

问题定义：论文旨在解决当预训练好的LoRA模块所依赖的基础模型被替换时，需要重新训练LoRA模块的问题。重新训练需要原始训练数据或高质量的合成数据，而这些数据往往难以获取，导致LoRA的迁移性和可复用性受限。

核心思路：论文的核心思路是设计一种名为LoRA-X的适配器，使得LoRA模块的参数可以直接从一个基础模型（源模型）迁移到另一个基础模型（目标模型），而无需进行额外的训练。这种迁移的关键在于找到源模型和目标模型之间的对应关系，并确保迁移后的LoRA模块在目标模型上仍然有效。

技术框架：LoRA-X的整体框架包括以下几个主要步骤：1) 分析源模型和目标模型的结构，确定可以进行LoRA参数迁移的层；2) 设计LoRA-X适配器，该适配器在源模型的子空间内操作，以保证迁移后的参数仍然有效；3) 将源模型的LoRA参数通过LoRA-X适配器迁移到目标模型的相应层；4) 在目标模型上进行推理或微调，验证迁移后的LoRA模块的有效性。

关键创新：LoRA-X最重要的技术创新点在于实现了LoRA模块的免训练跨模型迁移。与传统的重新训练方法相比，LoRA-X无需访问原始数据或生成合成数据，大大降低了LoRA模块的迁移成本。此外，LoRA-X通过在源模型子空间内操作适配器，保证了迁移后的参数的有效性。

关键设计：LoRA-X的关键设计包括：1) 子空间相似性度量：用于确定源模型和目标模型中哪些层可以进行LoRA参数迁移；2) 适配器结构：LoRA-X适配器被设计为在源模型的子空间内操作，以保证迁移后的参数的有效性；3) 迁移策略：论文提出了一种基于子空间相似性的迁移策略，只将LoRA参数迁移到目标模型中相似的层。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文通过在Stable Diffusion v1.5和Stable Diffusion XL上的实验验证了LoRA-X的有效性。实验结果表明，LoRA-X能够在无需重新训练的情况下，将LoRA模块从一个基础模型迁移到另一个基础模型，并且在图像生成质量上取得了与重新训练相当的结果。具体的性能数据和提升幅度在论文中进行了详细的展示。

🎯 应用场景

LoRA-X在快速迭代的AI模型部署中具有重要价值。例如，当基础模型更新换代时，无需重新训练大量的LoRA模块，从而节省了计算资源和时间成本。此外，LoRA-X还可用于模型的个性化定制，用户可以在不同的基础模型上快速部署定制化的LoRA模块，实现更灵活的模型应用。

📄 摘要（原文）

The rising popularity of large foundation models has led to a heightened demand for parameter-efficient fine-tuning methods, such as Low-Rank Adaptation (LoRA), which offer performance comparable to full model fine-tuning while requiring only a few additional parameters tailored to the specific base model. When such base models are deprecated and replaced, all associated LoRA modules must be retrained, requiring access to either the original training data or a substantial amount of synthetic data that mirrors the original distribution. However, the original data is often inaccessible due to privacy or licensing issues, and generating synthetic data may be impractical and insufficiently representative. These factors complicate the fine-tuning process considerably. To address this challenge, we introduce a new adapter, Cross-Model Low-Rank Adaptation (LoRA-X), which enables the training-free transfer of LoRA parameters across source and target models, eliminating the need for original or synthetic training data. Our approach imposes the adapter to operate within the subspace of the source base model. This constraint is necessary because our prior knowledge of the target model is limited to its weights, and the criteria for ensuring the adapter's transferability are restricted to the target base model's weights and subspace. To facilitate the transfer of LoRA parameters of the source model to a target model, we employ the adapter only in the layers of the target model that exhibit an acceptable level of subspace similarity. Our extensive experiments demonstrate the effectiveness of LoRA-X for text-to-image generation, including Stable Diffusion v1.5 and Stable Diffusion XL.