Towards Higher Effective Rank in Parameter-efficient Fine-tuning using Khatri--Rao Product

📄 arXiv: 2508.00230v1 📥 PDF

作者: Paul Albert, Frederic Z. Zhang, Hemanth Saratchandran, Anton van den Hengel, Ehsan Abbasnejad

分类: cs.LG, cs.CL, cs.CV

发布日期: 2025-08-01

备注: To appear in ICCV 2025

💡 一句话要点

提出KRAdapter以解决低秩适应方法的有效性问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 参数高效微调 低秩适应 Khatri-Rao积 多模态学习 常识推理 视觉-语言模型 大型语言模型 模型适应性

📋 核心要点

  1. 现有的低秩适应方法（如LoRA）在处理高有效秩的矩阵时表现不佳，尤其是在多模态和大型语言模型中。
  2. 本文提出KRAdapter，通过Khatri-Rao积生成权重更新，旨在提高参数高效微调的有效性。
  3. 实验结果表明，KRAdapter在视觉-语言模型和大型语言模型上均有显著性能提升，尤其在常识推理任务上表现突出。

📝 摘要（中文）

参数高效微调（PEFT）已成为适应大型预训练模型的标准方法。在PEFT方法中，低秩适应（LoRA）取得了显著成功。然而，近期研究指出其在多模态和大型语言模型中的局限性。本文通过合成矩阵近似基准对全秩和低秩PEFT方法进行了定量比较，结果表明LoRA在处理高有效秩的矩阵时表现不佳。为此，我们提出了KRAdapter，一种新颖的PEFT算法，利用Khatri-Rao积生成权重更新，能够产生高有效秩的矩阵乘积。我们在视觉-语言模型和大型语言模型上展示了KRAdapter的性能提升，尤其是在未见的常识推理任务上，同时保持了LoRA的内存和计算效率。

🔬 方法详解

问题定义：本文旨在解决低秩适应方法（如LoRA）在处理高有效秩矩阵时的性能不足，尤其是在多模态和大型语言模型中。现有方法在这些场景下难以有效捕捉复杂的特征表示。

核心思路：KRAdapter的核心思路是利用Khatri-Rao积生成权重更新，这种设计能够自然地产生高有效秩的矩阵乘积，从而提高模型的适应能力和性能。

技术框架：KRAdapter的整体架构包括输入层、Khatri-Rao积计算模块、权重更新模块和输出层。通过这些模块的协同工作，模型能够在保持计算效率的同时，增强对复杂数据的适应性。

关键创新：KRAdapter的主要创新在于引入Khatri-Rao积作为权重更新的基础，这与传统的低秩适应方法形成了本质区别，后者通常依赖于简单的低秩矩阵分解。

关键设计：在KRAdapter中，参数设置经过精心调整，以确保在不同规模的模型中都能保持高效性。同时，损失函数设计考虑了多模态数据的特性，以优化模型在特定任务上的表现。具体的网络结构也经过优化，以适应大规模参数模型的需求。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，KRAdapter在视觉-语言模型上和大型语言模型上均实现了显著的性能提升，尤其是在未见的常识推理任务中，表现出色。具体而言，模型在参数量达到1B和8B时，均展现出较传统LoRA方法更优的适应能力和推理准确性。

🎯 应用场景

KRAdapter的研究成果在多个领域具有广泛的应用潜力，尤其是在自然语言处理和计算机视觉的交叉领域。其高效的参数微调能力使其适用于需要快速适应新任务的场景，如智能助手、自动驾驶和人机交互等。未来，KRAdapter有望推动更大规模模型的应用与发展，提升人工智能系统的智能化水平。

📄 摘要（原文）

Parameter-efficient fine-tuning (PEFT) has become a standard approach for adapting large pre-trained models. Amongst PEFT methods, low-rank adaptation (LoRA) has achieved notable success. However, recent studies have highlighted its limitations compared against full-rank alternatives, particularly when applied to multimodal and large language models. In this work, we present a quantitative comparison amongst full-rank and low-rank PEFT methods using a synthetic matrix approximation benchmark with controlled spectral properties. Our results confirm that LoRA struggles to approximate matrices with relatively flat spectrums or high frequency components -- signs of high effective ranks. To this end, we introduce KRAdapter, a novel PEFT algorithm that leverages the Khatri-Rao product to produce weight updates, which, by construction, tends to produce matrix product with a high effective rank. We demonstrate performance gains with KRAdapter on vision-language models up to 1B parameters and on large language models up to 8B parameters, particularly on unseen common-sense reasoning tasks. In addition, KRAdapter maintains the memory and compute efficiency of LoRA, making it a practical and robust alternative to fine-tune billion-scale parameter models.