DT-LoRA: Reaching Beyond the Tangent Space of Low-Rank Adaptation

📄 arXiv: 2610.17730v1 📥 PDF

作者: Yangming Zhang, Ling Yi, Datong Li, Jinliang Ding, Xiaojie Wang, Tiecheng Song, Zhaolong Ning

分类: cs.CV, cs.LG

发布日期: 2026-10-13

备注: 16 pages, 2 figures, 11 tables. Code: https://github.com/Snipine/DT-LoRA

🔗 代码/项目: GITHUB

💡 一句话要点

提出DT-LoRA以解决低秩适应性能不足问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 低秩适应 动态切线 梯度优化 模型泛化 计算机视觉 自然语言处理 语义分割 深度学习

📋 核心要点

  1. 现有的低秩适应方法（LoRA）在性能上通常不及全量微调，未能充分利用梯度中的重要信息。
  2. DT-LoRA通过将固定秩预算分为稳定和动态两个分支，捕捉主要的残余梯度方向，从而提升模型性能。
  3. 实验结果显示，DT-LoRA在多个计算机视觉和自然语言处理任务中均表现优异，超越了LoRA及其变体。

📝 摘要（中文）

低秩适应（LoRA）在性能上通常不及全量微调。本文通过切线空间的视角探讨这一性能差距，发现因子化更新受限于当前低秩因子的切线空间，未能充分利用梯度中的残余成分。分析显示，这些残余成分占据了大部分梯度能量，并表现出强烈的谱集中性。基于此发现，本文提出动态切线LoRA（DT-LoRA），将固定秩预算分为稳定分支和动态分支，以捕捉主要的残余梯度方向。实验结果表明，DT-LoRA在计算机视觉和自然语言处理任务中均显著优于LoRA及其变体，并在开放词汇领域泛化的语义分割任务中取得了最先进的结果。

🔬 方法详解

问题定义：本文旨在解决低秩适应（LoRA）在性能上的不足，现有方法未能充分利用梯度中的残余成分，导致性能下降。

核心思路：DT-LoRA的核心思路是将固定的秩预算划分为稳定和动态两个分支，以捕捉和利用主要的残余梯度方向，从而优化模型更新。

技术框架：DT-LoRA的整体架构包括两个主要模块：稳定分支用于捕捉当前低秩因子的主要信息，动态分支则用于捕捉残余梯度方向。通过矩阵无关的随机SVD方法来恢复这些方向，而不需要物化残余梯度。

关键创新：DT-LoRA的最大创新在于其动态分支的设计，能够有效捕捉到切线空间外的梯度信息，这与传统的LoRA方法形成了本质的区别。

关键设计：DT-LoRA在参数设置上不增加任何可训练参数或推理成本，采用控制写回机制来保持累积更新的稳定性，并在分配的秩内稳定训练。实验中使用的损失函数和网络结构与LoRA相似，但通过动态分支的引入实现了性能的显著提升。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

实验结果表明，DT-LoRA在多个任务上均显著优于LoRA及其变体，尤其在开放词汇领域泛化的语义分割任务中，达到了最先进的性能，具体提升幅度超过了X%（具体数据未知）。

🎯 应用场景

DT-LoRA的研究成果在计算机视觉和自然语言处理等领域具有广泛的应用潜力，尤其是在需要快速适应新任务或领域的场景中。其创新的动态分支设计能够有效提升模型的泛化能力，未来可能在多种实际应用中发挥重要作用。

📄 摘要（原文）

Low-rank adaptation (LoRA) often underperforms full fine-tuning. We investigate this performance gap through a tangent-space lens: factorized updates are confined to the tangent space of the current low-rank factors, leaving gradient components outside this space unexploited. An analysis of ten representative LoRA variants reveals that these residual components account for most of the gradient energy and exhibit strong spectral concentration. Motivated by this finding, we propose Dynamic Tangent LoRA (DT-LoRA), which partitions a fixed rank budget into a stable branch and a dynamic branch to capture the principal residual gradient directions. We show that these directions define the optimal update of a local quadratic model under orthogonal-complement and rank constraints. Matrix-free randomized SVD recovers them without materializing the residual gradient, while controlled write-back preserves accumulated updates and stabilizes training within the allocated rank. DT-LoRA adds no trainable parameters or inference cost over LoRA. Experiments across computer vision and natural language processing tasks demonstrate consistent improvements over LoRA and its variants. Moreover, despite being a general-purpose adaptation method, DT-LoRA outperforms task-specific approaches to open-vocabulary domain generalization for semantic segmentation, achieving state-of-the-art results. Code is available at https://github.com/Snipine/DT-LoRA.