Large Pre-Training Datasets Don't Always Guarantee Robustness after Fine-Tuning

📄 arXiv: 2410.21582v3 📥 PDF

作者: Jaedong Hwang, Brian Cheung, Zhang-Wei Hong, Akhilan Boopathy, Pulkit Agrawal, Ila Fiete

分类: cs.CV, cs.AI

发布日期: 2024-10-28 (更新: 2025-09-26)

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

微调后大预训练模型鲁棒性下降：提出ImageNet-RIB评估鲁棒性继承

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 预训练模型 微调 鲁棒性 分布外泛化 灾难性遗忘

📋 核心要点

  1. 现有方法依赖大规模预训练模型微调，但忽略了微调后模型鲁棒性可能下降的问题，尤其是在OOD任务上的表现。
  2. 论文提出鲁棒性继承基准ImageNet-RIB，用于系统评估微调后预训练模型在OOD任务上的鲁棒性保持情况。
  3. 实验表明，在大型数据集上预训练的模型微调后，鲁棒性损失更大，绝对鲁棒性更低，表明更强的基础模型不一定带来更好的专有任务性能。

📝 摘要（中文）

大规模预训练模型被广泛用作基础，通过微调来学习新的专门任务，目标是保持模型的通用性能，同时使其获得新的技能。所有此类模型的一个重要目标是鲁棒性：在分布外(OOD)任务上表现良好的能力。我们评估了微调是否保留了预训练模型的整体鲁棒性，并观察到在大型数据集上预训练的模型表现出强大的灾难性遗忘和OOD泛化能力的丧失。为了系统地评估微调模型中的鲁棒性保持，我们提出了鲁棒性继承基准(ImageNet-RIB)。该基准可以应用于任何预训练模型，由一组相关但不同的OOD(下游)任务组成，包括在一个OOD任务上进行微调，然后在其余任务上进行测试。我们发现，尽管持续学习方法有所帮助，但微调会降低预训练模型的鲁棒性。令人惊讶的是，相对于在较小数据集上预训练的模型，在最大和最多样化的数据集(例如，LAION-2B)上预训练的模型在小数据集上微调后，表现出更大的鲁棒性损失和更低的绝对鲁棒性。这些发现表明，从最强大的基础模型开始不一定是执行专门任务的最佳方法。

🔬 方法详解

问题定义：论文旨在解决大规模预训练模型在微调后，其在分布外(OOD)任务上的鲁棒性下降问题。现有方法通常假设预训练模型能够通过微调继承其鲁棒性，但实际情况并非如此，尤其是在面对与微调数据分布不同的OOD任务时，模型容易发生灾难性遗忘，导致泛化能力下降。

核心思路：论文的核心思路是通过构建一个专门的基准测试集ImageNet-RIB，来系统地评估预训练模型在微调后，其鲁棒性是否能够被有效继承。通过在ImageNet-RIB的不同OOD任务上进行微调和测试，可以量化微调对模型鲁棒性的影响，从而揭示大规模预训练模型在微调后鲁棒性下降的现象。

技术框架：ImageNet-RIB基准包含一组相关但不同的OOD任务。研究人员首先选择一个预训练模型，然后在ImageNet-RIB中的一个OOD任务上进行微调。微调完成后，在ImageNet-RIB的其余OOD任务上评估模型的性能。通过比较微调前后模型在OOD任务上的性能差异，可以量化微调对模型鲁棒性的影响。此外，论文还研究了持续学习方法在缓解鲁棒性下降方面的作用。

关键创新：论文的关键创新在于提出了ImageNet-RIB基准，这是一个专门用于评估预训练模型微调后鲁棒性继承情况的测试集。与传统的评估方法不同，ImageNet-RIB关注的是模型在OOD任务上的表现，能够更全面地反映模型的泛化能力。此外，论文还揭示了一个令人惊讶的现象：在大型数据集上预训练的模型微调后，鲁棒性损失反而更大。

关键设计：ImageNet-RIB基准的设计关键在于选择一组相关但不同的OOD任务。这些任务应该具有一定的相似性，以便能够评估模型在不同任务之间的泛化能力，同时又应该具有一定的差异性，以便能够反映模型对不同类型扰动的鲁棒性。论文中具体OOD任务的选择细节未知。

📊 实验亮点

实验结果表明，在大型数据集（如LAION-2B）上预训练的模型，在小数据集上微调后，鲁棒性损失更大，绝对鲁棒性更低。这与直觉相反，表明更强的基础模型不一定带来更好的专有任务性能。此外，实验还发现，持续学习方法虽然可以缓解鲁棒性下降，但无法完全消除微调带来的负面影响。

🎯 应用场景

该研究成果可应用于评估和改进预训练模型在特定领域的应用。通过ImageNet-RIB基准，可以更好地了解微调对模型鲁棒性的影响，从而选择更合适的预训练模型和微调策略，提高模型在实际应用中的可靠性和泛化能力。该研究对于开发更安全、更可靠的人工智能系统具有重要意义。

📄 摘要（原文）

Large-scale pretrained models are widely leveraged as foundations for learning new specialized tasks via fine-tuning, with the goal of maintaining the general performance of the model while allowing it to gain new skills. A valuable goal for all such models is robustness: the ability to perform well on out-of-distribution (OOD) tasks. We assess whether fine-tuning preserves the overall robustness of the pretrained model, and observed that models pretrained on large datasets exhibited strong catastrophic forgetting and loss of OOD generalization. To systematically assess robustness preservation in fine-tuned models, we propose the Robustness Inheritance Benchmark (ImageNet-RIB). The benchmark, which can be applied to any pretrained model, consists of a set of related but distinct OOD (downstream) tasks and involves fine-tuning on one of the OOD tasks in the set then testing on the rest. We find that though continual learning methods help, fine-tuning reduces robustness across pretrained models. Surprisingly, models pretrained on the largest and most diverse datasets (e.g., LAION-2B) exhibit both larger robustness losses and lower absolute robustness after fine-tuning on small datasets, relative to models pretrained on smaller datasets. These findings suggest that starting with the strongest foundation model is not necessarily the best approach for performance on specialist tasks. https://jd730.github.io/projects/ImageNet-RIB