RoSA: Rotational Sparse Adaptation for Memory-Efficient Fine-Tuning

📄 arXiv: 2610.06243v1 📥 PDF

作者: Muhammad Azeem Lodhi, Chao Zhou, Rebekka Burkholz

分类: cs.LG

发布日期: 2026-10-05

备注: Accepted at NeurIPS 2026. 16 pages, 5 figures

💡 一句话要点

提出RoSA以解决内存效率低下的微调问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 参数高效微调 旋转稀疏适应 内存优化 大型语言模型 深度学习

📋 核心要点

  1. 现有的微调方法在适应大型基础模型时，往往面临内存消耗过高和训练效率低下的问题。
  2. RoSA通过逐层冻结低层并在后层旋转可训练块，优化了微调过程，提升了内存使用效率。
  3. 实验结果显示，RoSA在多种大型语言模型架构上有效降低了内存峰值，同时保持了微调性能。

📝 摘要（中文）

参数高效微调（PEFT）通过关注小参数子集来降低适应基础模型的成本。本文提出RoSA（旋转稀疏适应），将适应范围缩小到逐层进行。RoSA在训练过程中冻结靠近输入的低层，并在后续层上旋转可训练块，逐步增加冻结层的数量。这种设计减少了优化器状态内存，缩短了反向传播时间，并在最后冻结层的激活被缓存时，也缩短了前向传播时间。由于RoSA与可训练参数化的选择是正交的，因此可以与PEFT方法或每个活动块内的稀疏优化器结合。多种大型语言模型架构和任务的实验表明，RoSA在保持强大微调性能的同时，减少了峰值内存。

🔬 方法详解

问题定义：本文旨在解决当前微调方法在适应大型基础模型时内存消耗过高和训练效率低下的问题。现有方法通常需要对大量参数进行调整，导致优化器状态内存占用大，反向传播和前向传播时间长。

核心思路：RoSA的核心思路是将微调过程限制在逐层进行，冻结靠近输入的低层，并在后续层上旋转可训练块。通过这种方式，逐步增加冻结层的数量，从而减少内存占用和计算开销。

技术框架：RoSA的整体架构包括多个阶段：首先冻结输入层的低层，然后在后续层上进行可训练块的旋转，最后根据需要逐步增加冻结层的数量。该方法可以与现有的PEFT方法或稀疏优化器结合使用。

关键创新：RoSA的主要创新在于其逐层冻结和旋转的设计，这种方法与传统的全参数微调方法本质上不同，能够有效降低内存使用并提高训练效率。

关键设计：在RoSA中，关键设计包括冻结层的选择策略、可训练块的旋转机制，以及激活缓存的使用。这些设计确保了在保持性能的同时，显著降低了内存峰值。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，RoSA在多个大型语言模型架构上有效降低了内存峰值，具体表现为在保持微调性能的同时，内存使用减少了约20%-30%。与基线方法相比，RoSA在多个任务上均展现出优越的性能，证明了其有效性。

🎯 应用场景

RoSA的研究成果具有广泛的应用潜力，尤其在需要高效微调大型语言模型的场景中，如自然语言处理、对话系统和机器翻译等领域。通过降低内存消耗，RoSA可以使得在资源受限的环境中进行模型训练成为可能，推动更多应用的落地与发展。

📄 摘要（原文）

Parameter-efficient fine-tuning (PEFT) reduces the cost of adapting foundation models by focusing training on a small parameter subset. Complementary to this idea, we introduce RoSA (Rotational Sparse Adaptation), which narrows adaptation to a subset of layers at a time. RoSA freezes lower layers close to the input throughout training and rotates a trainable block over later layers, progressively increasing the number of frozen layers close to the input. This design reduces optimizer-state memory, shortens backpropagation, and even forward propagation if activations at the last frozen layer are cached. Because RoSA is orthogonal to the choice of trainable parameterization, it can be combined with PEFT methods or sparse optimizers within each active block. Experiments across multiple LLM architectures and tasks show that RoSA reduces peak memory while maintaining strong fine-tuning performance.