AROMA: Autonomous Rank-one Matrix Adaptation

📄 arXiv: 2504.05343v2 📥 PDF

作者: Hao Nan Sheng, Zhi-yong Wang, Mingrui Yang, Hing Cheung So

分类: cs.LG, cs.AI

发布日期: 2025-04-06 (更新: 2025-04-11)

🔗 代码/项目: GITHUB

💡 一句话要点

提出AROMA以解决低秩适应方法的静态分配问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 低秩适应 自适应微调 自然语言处理 参数高效 深度学习

📋 核心要点

  1. 现有的低秩适应方法如LoRA和AdaLoRA在秩分配上存在静态或敏感性问题，导致性能不佳。
  2. AROMA框架通过双循环架构实现动态秩一组件构建，自动优化层特定更新，显著减少可训练参数。
  3. 实验结果表明，AROMA在自然语言理解和常识推理任务上优于LoRA和AdaLoRA，展示了更强的性能。

📝 摘要（中文）

随着大型语言模型的不断发展，参数高效微调（PEFT）变得愈发重要。低秩适应（LoRA）通过低秩更新提供了解决方案，但其静态秩分配可能导致次优结果。自适应低秩适应（AdaLoRA）通过动态分配进行改进，但仍对初始和目标秩配置敏感。我们提出了AROMA框架，通过迭代构建层特定的更新，逐步形成秩一组件，且可训练参数极少，最终趋近于零。AROMA引入双循环架构进行秩增长，内循环从每个秩一子空间提取信息，外循环确定秩一子空间的数量，即最优秩。与现有方法相比，AROMA显著减少了参数数量，同时在自然语言理解和常识推理任务上表现优越，为自适应PEFT提供了新的见解。

🔬 方法详解

问题定义：本论文旨在解决现有低秩适应方法在秩分配上的静态性和敏感性问题，导致的性能不足。

核心思路：AROMA通过双循环架构实现动态秩一组件的构建，内循环提取信息，外循环优化秩的数量，从而实现更高效的参数更新。

技术框架：AROMA的整体架构包括内外两个循环，内循环负责从秩一子空间提取信息，外循环则决定最优的秩数量，确保子空间的独立性。

关键创新：AROMA的主要创新在于其双循环架构和动态秩一组件构建机制，与传统方法相比，显著提高了参数效率和适应性。

关键设计：AROMA设计了重置优化器状态的机制，以保持子空间的独立性，并通过逐步减少可训练参数来优化模型性能。具体的损失函数和网络结构细节在论文中进行了详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，AROMA在自然语言理解和常识推理任务上相较于LoRA和AdaLoRA显著提升了性能，参数数量减少了XX%，具体性能提升数据在论文中详述，展示了其在PEFT领域的强大优势。

🎯 应用场景

AROMA框架在自然语言处理领域具有广泛的应用潜力，尤其是在需要高效微调大型语言模型的场景中。其显著减少的参数数量和优越的性能使其适用于资源受限的环境，未来可能推动更多自适应微调技术的发展。

📄 摘要（原文）

As large language models continue to grow in size, parameter-efficient fine-tuning (PEFT) has become increasingly crucial. While low-rank adaptation (LoRA) offers a solution through low-rank updates, its static rank allocation may yield suboptimal results. Adaptive low-rank adaptation (AdaLoRA) improves this with dynamic allocation but remains sensitive to initial and target rank configurations. We introduce AROMA, a framework that automatically constructs layer-specific updates by iteratively building up rank-one components with very few trainable parameters that gradually diminish to zero. Unlike existing methods that employ rank reduction mechanisms, AROMA introduces a dual-loop architecture for rank growth. The inner loop extracts information from each rank-one subspace, while the outer loop determines the number of rank-one subspaces, i.e., the optimal rank. We reset optimizer states to maintain subspace independence. AROMA significantly reduces parameters compared to LoRA and AdaLoRA while achieving superior performance on natural language understanding and commonsense reasoning tasks, offering new insights into adaptive PEFT. The code is available at \href{https://github.com/ShuDun23/AROMA}{AROMA}.