UORA: Uniform Orthogonal Reinitialization Adaptation in Parameter-Efficient Fine-Tuning of Large Models

📄 arXiv: 2505.20154v1 📥 PDF

作者: Xueyan Zhang, Jinman Zhao, Zhifei Yang, Yibo Zhong, Shuhao Guan, Linbo Cao, Yining Wang

分类: cs.CL

发布日期: 2025-05-26

备注: 20 pages, 2 figures, 15 tables

期刊: ACL 2025

💡 一句话要点

提出UORA以实现大模型的高效微调

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 参数高效微调 大型语言模型 低秩近似 插值重参数化 计算效率 存储效率 微调技术

📋 核心要点

  1. 现有的微调方法在参数效率和计算开销上存在不足，难以满足大规模模型的需求。
  2. UORA通过低秩近似和插值重参数化机制，选择性地重初始化投影矩阵的部分参数，显著减少可训练参数。
  3. 在GLUE和E2E基准测试中，UORA的微调性能优于LoRA和VeRA，且计算开销极低。

📝 摘要（中文）

本文介绍了一种新颖的参数高效微调方法——均匀正交重初始化适应（UORA），旨在优化大型语言模型（LLMs）的微调过程。UORA通过低秩近似方法减少可训练参数数量，显著提升了参数效率和性能。与现有方法如LoRA和VeRA不同，UORA采用基于插值的重参数化机制，选择性地重初始化冻结投影矩阵中的行和列，利用向量幅度启发式指导。这一方法在计算和存储效率上优于VeRA，并在多个基准测试中展现了竞争力的微调性能，几乎没有计算开销。实验结果表明，UORA在GLUE和E2E基准测试中表现出色，证明了其在大型语言模型和图像分类模型指令微调中的有效性。

🔬 方法详解

问题定义：本文旨在解决大型语言模型微调过程中的参数效率低和计算开销大的问题。现有方法如LoRA和VeRA在这方面存在局限性，难以实现高效的微调。

核心思路：UORA的核心思路是通过低秩近似和插值重参数化机制，选择性地重初始化冻结投影矩阵中的行和列，从而减少可训练参数的数量。这种设计使得微调过程更加高效。

技术框架：UORA的整体架构包括数据输入、模型初始化、重参数化、微调过程和评估阶段。主要模块包括低秩近似模块和插值重参数化模块，确保在微调过程中有效利用参数。

关键创新：UORA的关键创新在于其插值重参数化机制，能够根据向量幅度启发式选择性地重初始化参数。这一方法与传统的全参数微调或简单的低秩近似方法有本质区别，显著提高了参数效率。

关键设计：在参数设置上，UORA采用了低秩矩阵分解技术，损失函数设计上考虑了微调的稳定性和收敛速度，网络结构上则保持了原模型的完整性，确保微调后的模型性能优越。

📊 实验亮点

UORA在GLUE和E2E基准测试中表现出色，微调性能超过LoRA，且在计算和存储效率上优于VeRA，展示了其在实际应用中的巨大潜力。具体实验结果显示，UORA在相同条件下减少了可训练参数数量，提升了微调效率。

🎯 应用场景

UORA的研究成果在大型语言模型的微调、指令微调和图像分类等领域具有广泛的应用潜力。其高效的参数利用和低计算开销使得在资源受限的环境中也能实现高性能的模型微调，推动了AI技术的普及与应用。

📄 摘要（原文）

This paper introduces Uniform Orthogonal Reinitialization Adaptation (UORA), a novel parameter-efficient fine-tuning (PEFT) approach for Large Language Models (LLMs). UORA achieves state-of-the-art performance and parameter efficiency by leveraging a low-rank approximation method to reduce the number of trainable parameters. Unlike existing methods such as LoRA and VeRA, UORA employs an interpolation-based reparametrization mechanism that selectively reinitializes rows and columns in frozen projection matrices, guided by the vector magnitude heuristic. This results in substantially fewer trainable parameters compared to LoRA and outperforms VeRA in computation and storage efficiency. Comprehensive experiments across various benchmarks demonstrate UORA's superiority in achieving competitive fine-tuning performance with negligible computational overhead. We demonstrate its performance on GLUE and E2E benchmarks and its effectiveness in instruction-tuning large language models and image classification models. Our contributions establish a new paradigm for scalable and resource-efficient fine-tuning of LLMs.