SOLAR: Communication-Efficient Model Adaptation via Subspace-Oriented Latent Adapter Reparametrization

📄 arXiv: 2604.08368v1 📥 PDF

作者: Seyed Mahmoud Sajjadi Mohammadabadi, Xiaolong Ma, Lei Yang, Feng Yan, Junshan Zhang

分类: cs.LG, cs.CL, cs.CV

发布日期: 2026-04-09

💡 一句话要点

SOLAR：通过子空间导向的潜在适配器重参数化实现通信高效的模型适配

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 参数高效微调 模型压缩 奇异值分解 子空间学习 通信效率 边缘计算 分布式系统

📋 核心要点

  1. 现有PEFT方法如LoRA在资源受限场景下，通信和存储成本仍然是主要瓶颈，限制了其应用。
  2. SOLAR通过将PEFT更新表示为基础模型奇异向量的线性组合，解耦适配器大小与PEFT结构，实现紧凑表示。
  3. 实验表明，SOLAR在语言和视觉任务中，显著降低模型表示大小的同时，保持了任务性能。

📝 摘要（中文）

参数高效微调（PEFT）方法，如LoRA，通过注入低秩适配器实现基础模型的可扩展适配。然而，它们的通信和存储成本仍然是资源受限环境中的主要瓶颈。我们提出了SOLAR（子空间导向的潜在适配器重参数化），这是一个后训练压缩框架，可显著降低PEFT适配器的通信成本（即，要传输或存储的参数数量）。SOLAR将每个PEFT更新表示为由基础模型的奇异向量形成的基向量的线性组合，并带有受控的随机扰动。通过利用基础模型和特定任务微调更新之间的子空间相似性（主方向的对齐），SOLAR将适配器大小与PEFT结构解耦，并确保紧凑而富有表现力的表示。它是模型无关的，并且与现有的PEFT方法兼容，包括LoRA、AdaLoRA和其他适配器模块。我们在理论上建立了重建误差的界限。使用LLaMA、GPT和ViT模型在语言和视觉任务上的实验表明，SOLAR在保持任务性能的同时显著降低了模型表示大小，为分布式系统和边缘设备中的部署提供了一种有效且通信高效的解决方案。

🔬 方法详解

问题定义：论文旨在解决参数高效微调（PEFT）方法在资源受限环境下通信和存储成本过高的问题。现有的PEFT方法，如LoRA，虽然减少了需要训练的参数量，但在分布式系统和边缘设备上的部署仍然面临着巨大的通信开销，因为需要传输或存储适配器的参数。

核心思路：SOLAR的核心思路是利用基础模型和特定任务微调更新之间的子空间相似性，将PEFT更新表示为基础模型奇异向量的线性组合。通过这种方式，适配器的大小不再直接依赖于PEFT的结构，而是可以通过控制基向量的数量来实现压缩，从而降低通信成本。

技术框架：SOLAR是一个后训练压缩框架，可以与现有的PEFT方法（如LoRA、AdaLoRA等）结合使用。其主要流程包括：首先，对基础模型进行奇异值分解（SVD）；然后，使用基础模型的奇异向量构建基向量；接着，将PEFT适配器的更新表示为这些基向量的线性组合，并添加受控的随机扰动；最后，通过调整基向量的数量来控制适配器的大小，从而实现压缩。

关键创新：SOLAR最重要的技术创新在于其子空间导向的潜在适配器重参数化方法。与传统的PEFT方法直接微调适配器参数不同，SOLAR利用基础模型的奇异向量作为基向量，将适配器更新表示为这些基向量的线性组合。这种方法能够有效地利用基础模型和任务特定更新之间的子空间相似性，从而实现更紧凑的表示。

关键设计：SOLAR的关键设计包括：1) 使用基础模型的奇异向量作为基向量；2) 通过控制基向量的数量来控制适配器的大小；3) 添加受控的随机扰动以提高模型的泛化能力；4) 理论上建立了重建误差的界限，为参数选择提供了指导。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，SOLAR在保持任务性能的同时，显著降低了模型表示大小。例如，在使用LLaMA、GPT和ViT模型在语言和视觉任务上进行测试时，SOLAR能够在不损失精度的情况下，将模型大小压缩到原来的几分之一，从而实现了通信效率的大幅提升。与直接压缩适配器相比，SOLAR能够更好地保持模型的性能。

🎯 应用场景

SOLAR适用于资源受限的边缘设备和分布式系统，可以有效降低模型适配的通信和存储成本。该技术可应用于联邦学习、移动设备上的个性化模型部署、以及需要频繁更新模型的场景。通过减少模型大小，SOLAR能够加速模型部署，降低带宽需求，并提高边缘设备的推理效率，具有广泛的应用前景。

📄 摘要（原文）

Parameter-efficient fine-tuning (PEFT) methods, such as LoRA, enable scalable adaptation of foundation models by injecting low-rank adapters. However, their communication and storage costs remain a major bottleneck in resource-constrained settings. We propose SOLAR (Subspace-Oriented Latent Adapter Reparameterization), a post-training compression framework that substantially reduces the communication cost (i.e., the number of parameters to transmit or store) of PEFT adapters. SOLAR expresses each PEFT update as a linear combination of basis vectors formed from the foundation model's singular vectors with controlled random perturbations. By exploiting the subspace similarity (the alignment of principal directions) between the foundation model and task-specific fine-tuned updates, SOLAR decouples the adapter size from PEFT structure and ensures compact yet expressive representations. It is model-agnostic and compatible with existing PEFT methods, including LoRA, AdaLoRA, and other adapter modules. We theoretically establish a bound on the reconstruction error. Experiments on language and vision tasks using LLaMA, GPT, and ViT models demonstrate that SOLAR preserves task performance while significantly reducing model representation sizes, offering an effective and communication-efficient solution for deployment in distributed systems and edge devices.