WASP: A Weight-Space Approach to Detecting Learned Spuriousness

📄 arXiv: 2410.18970v4 📥 PDF

作者: Cristian Daniel Păduraru, Antonio Bărbălau, Radu Filipescu, Andrei Liviu Nicolicioiu, Elena Burceanu

分类: cs.AI, cs.LG

发布日期: 2024-10-24 (更新: 2025-09-04)

备注: under review

💡 一句话要点

WASP：一种权重空间方法，用于检测模型学习到的虚假相关性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 虚假相关性检测 权重空间分析 模型可靠性 模型可解释性 多模态学习 深度学习 模型微调

📋 核心要点

  1. 现有方法依赖数据或错误分析来识别虚假相关性，无法发现模型已学习但数据未暴露的虚假性。
  2. WASP方法通过分析模型权重在微调过程中如何变化，来揭示模型学习到的虚假相关性。
  3. 实验表明WASP能发现数据集中未被反例暴露的虚假相关性，且适用于图像和文本等多模态数据。

📝 摘要（中文）

训练机器学习模型，使其清晰理解给定任务中每个类的定义至关重要。虽然已经有很多工作致力于识别数据集中可能影响模型对类理解的虚假相关性，但目前所有方法都仅仅依赖于数据或错误分析。也就是说，它们无法指出模型学习到的、但验证集或训练集中的反例并未指出的虚假相关性。我们提出了一种超越此限制的方法，将重点从分析模型的预测转移到分析模型的权重（决策背后的机制），这证明更有洞察力。我们提出的虚假性检测权重空间方法（WASP）依赖于分析基础模型的权重，因为它们在给定数据集上进行微调时会逐渐捕获各种（虚假）相关性。我们证明，与之前的工作不同，我们的方法（i）即使在训练或验证反例未暴露的情况下，也可以暴露数据集中的虚假相关性，（ii）它适用于图像和文本等多种模态，并且（iii）它可以揭示先前未开发的ImageNet-1k分类器学习到的虚假相关性。

🔬 方法详解

问题定义：现有方法在检测模型学习到的虚假相关性时存在局限性。它们主要依赖于对训练数据或验证数据中的错误样本进行分析，以此来发现模型可能存在的偏差。然而，这种方法无法检测到那些模型已经学习到，但并没有在训练或验证数据中显式体现出来的虚假相关性。换句话说，如果训练数据和验证数据本身就存在某种隐藏的偏差，并且模型学习到了这种偏差，那么现有的方法就很难发现这种问题。

核心思路：WASP的核心思路是将分析的重点从模型的输出（即预测结果）转移到模型的内部参数（即权重）。作者认为，模型的权重是模型进行决策的关键机制，通过分析权重在训练过程中的变化，可以更深入地了解模型学习到的内容，包括那些隐藏的虚假相关性。具体来说，WASP会监测基础模型在微调过程中权重的变化，以此来判断模型是否正在学习某种虚假的相关性。

技术框架：WASP方法主要包含以下几个阶段：1) 选择一个预训练的基础模型（例如，在ImageNet上预训练的图像分类模型）。2) 在目标数据集上对基础模型进行微调。3) 在微调过程中，定期记录模型的权重。4) 分析权重在微调过程中的变化，以识别模型学习到的虚假相关性。这种分析可能涉及到统计分析、可视化或其他机器学习技术。

关键创新：WASP最重要的创新在于它将分析的重点从数据转移到了模型本身。与现有方法不同，WASP并不依赖于对数据进行分析来发现虚假相关性，而是直接分析模型的权重，以此来了解模型学习到的内容。这种方法可以发现那些隐藏在数据中的、难以通过传统方法检测到的虚假相关性。

关键设计：WASP的关键设计在于如何有效地分析模型的权重。具体来说，需要设计合适的指标来衡量权重在微调过程中的变化，并且需要开发相应的算法来识别那些与虚假相关性相关的权重变化。此外，还需要考虑如何将WASP方法应用于不同的模型和数据集。论文中可能涉及了具体的参数设置、损失函数或网络结构，用于辅助权重空间的分析和虚假相关性的检测，但具体细节未知。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

WASP方法在多个实验中表现出优越性。它能够揭示数据集中未被训练或验证反例暴露的虚假相关性，并且适用于图像和文本等多种模态。此外，WASP还成功地发现了ImageNet-1k分类器学习到的先前未知的虚假相关性，证明了其有效性和通用性。具体的性能提升数据未知。

🎯 应用场景

WASP方法可应用于各种机器学习模型的可靠性提升，尤其是在高风险领域，如医疗诊断、自动驾驶等。通过检测和消除模型学习到的虚假相关性，可以提高模型的泛化能力和鲁棒性，避免模型在实际应用中做出错误的决策。该方法还有助于提升模型的可解释性，帮助人们更好地理解模型的决策过程。

📄 摘要（原文）

It is of crucial importance to train machine learning models such that they clearly understand what defines each class in a given task. Though there is a sum of works dedicated to identifying the spurious correlations featured by a dataset that may impact the model's understanding of the classes, all current approaches rely solely on data or error analysis. That is, they cannot point out spurious correlations learned by the model that are not already pointed out by the counterexamples featured in the validation or training sets. We propose a method that transcends this limitation, switching the focus from analyzing a model's predictions to analyzing the model's weights, the mechanism behind the making of the decisions, which proves to be more insightful. Our proposed Weight-space Approach to detecting Spuriousness (WASP) relies on analyzing the weights of foundation models as they drift towards capturing various (spurious) correlations while being fine-tuned on a given dataset. We demonstrate that different from previous works, our method (i) can expose spurious correlations featured by a dataset even when they are not exposed by training or validation counterexamples, (ii) it works for multiple modalities such as image and text, and (iii) it can uncover previously untapped spurious correlations learned by ImageNet-1k classifiers.