Directional Gradient Projection for Robust Fine-Tuning of Foundation Models

📄 arXiv: 2502.15895v2 📥 PDF

作者: Chengyue Huang, Junjiao Tian, Brisa Maneechotesuwan, Shivang Chopra, Zsolt Kira

分类: cs.LG, cs.AI, cs.CL, cs.CV

发布日期: 2025-02-21 (更新: 2025-06-20)

备注: Accepted to ICLR 2025

💡 一句话要点

提出方向梯度投影(DiGraP)方法，用于稳健微调预训练模型。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 稳健微调 梯度投影 预训练模型 分布偏移 多模态学习

📋 核心要点

  1. 现有稳健微调方法依赖权重幅度约束，超参数敏感且易欠拟合，难以兼顾ID泛化和OOD鲁棒性。
  2. DiGraP利用梯度方向信息，在层级可训练框架下，将正则化与多目标优化相结合，提升微调的稳健性。
  3. 实验表明，DiGraP在图像分类和VQA任务上，显著优于现有方法，提升了ID泛化和OOD鲁棒性。

📝 摘要（中文）

稳健微调旨在将大型预训练模型适配到下游任务，同时保持其对分布偏移的鲁棒性。现有方法主要基于微调权重和预训练权重之间的幅度差异，约束当前模型并将其投影到预训练初始化状态，这通常需要大量的超参数调整，并且有时会导致欠拟合。本文提出了一种新的层级可训练方法——方向梯度投影(DiGraP)，它结合了来自梯度的方向信息，从而将正则化和多目标优化联系起来。除了在图像分类上展示该方法外，本文还将该领域推广到多模态评估设置，用于稳健微调。具体来说，首先通过对图像分类重新构建的视觉问答(VQA)基准进行分析，弥合了单模态和多模态之间的差距，并根据分布偏移类型和程度（即近OOD与远OOD）对十个分布外(OOD) VQA数据集进行了分类。实验结果表明，DiGraP在图像分类和VQA任务中始终优于现有基线，并且在判别式和生成式骨干网络上都提高了域内(ID)泛化能力和OOD鲁棒性。

🔬 方法详解

问题定义：论文旨在解决大型预训练模型在下游任务微调时，对分布偏移的鲁棒性问题。现有方法主要通过约束微调后的模型权重使其接近预训练权重，但这种基于权值幅度的方法需要大量的超参数调整，且容易导致欠拟合，无法很好地平衡域内泛化能力和域外鲁棒性。

核心思路：论文的核心思路是利用梯度方向信息来指导模型的微调过程。作者认为，梯度方向包含了模型学习到的重要特征信息，通过将梯度投影到特定方向，可以更有效地约束模型的更新，从而提高模型的鲁棒性。这种方法将正则化和多目标优化联系起来，避免了过度依赖权值幅度约束带来的问题。

技术框架：DiGraP方法采用层级可训练的框架。对于每一层，首先计算该层的梯度，然后将梯度投影到预定义的或学习到的方向上。投影后的梯度用于更新该层的权重。整个微调过程可以看作是对每一层进行方向梯度约束的优化过程。该框架可以很容易地集成到现有的微调流程中。

关键创新：DiGraP的关键创新在于利用梯度方向信息进行模型微调。与现有方法仅关注权值幅度不同，DiGraP关注梯度的方向，从而能够更有效地约束模型的更新，提高模型的鲁棒性。此外，DiGraP采用层级可训练的框架，使得每一层都可以根据其自身的特点进行调整，从而更好地适应下游任务。

关键设计：DiGraP的关键设计包括：1) 梯度投影方向的选择：可以选择预定义的固定方向，也可以通过学习得到。2) 投影强度的控制：通过一个可学习的参数来控制梯度投影的强度，从而平衡域内泛化能力和域外鲁棒性。3) 层级可训练框架：每一层都有独立的梯度投影方向和强度参数，从而更好地适应下游任务。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

DiGraP在图像分类和VQA任务上均取得了显著的性能提升。在图像分类任务中，DiGraP在多个OOD数据集上优于现有基线方法。在VQA任务中，DiGraP不仅提高了ID数据集上的准确率，还在多个OOD数据集上取得了显著的性能提升，尤其是在远OOD数据集上，提升幅度更为明显。实验结果表明，DiGraP能够有效地提高模型的鲁棒性，使其更好地适应各种分布偏移。

🎯 应用场景

DiGraP方法可广泛应用于各种需要稳健微调的场景，例如自动驾驶、医疗诊断等。在这些场景中，模型需要能够应对各种未知的分布偏移，以保证其性能和安全性。DiGraP方法通过提高模型的鲁棒性，可以有效降低模型在实际应用中出错的风险，具有重要的实际价值和应用前景。

📄 摘要（原文）

Robust fine-tuning aims to adapt large foundation models to downstream tasks while preserving their robustness to distribution shifts. Existing methods primarily focus on constraining and projecting current model towards the pre-trained initialization based on the magnitudes between fine-tuned and pre-trained weights, which often require extensive hyper-parameter tuning and can sometimes result in underfitting. In this work, we propose Directional Gradient Projection (DiGraP), a novel layer-wise trainable method that incorporates directional information from gradients to bridge regularization and multi-objective optimization. Besides demonstrating our method on image classification, as another contribution we generalize this area to the multi-modal evaluation settings for robust fine-tuning. Specifically, we first bridge the uni-modal and multi-modal gap by performing analysis on Image Classification reformulated Visual Question Answering (VQA) benchmarks and further categorize ten out-of-distribution (OOD) VQA datasets by distribution shift types and degree (i.e. near versus far OOD). Experimental results show that DiGraP consistently outperforms existing baselines across Image Classfication and VQA tasks with discriminative and generative backbones, improving both in-distribution (ID) generalization and OOD robustness.