Outlier Gradient Analysis: Efficiently Identifying Detrimental Training Samples for Deep Learning Models
作者: Anshuman Chhabra, Bo Li, Jian Chen, Prasant Mohapatra, Hongfu Liu
分类: cs.LG, cs.AI
发布日期: 2024-05-06 (更新: 2025-11-01)
备注: Accepted to ICML 2025 (Oral)
💡 一句话要点
提出基于离群梯度分析的高效方法，用于识别深度学习中的有害训练样本。
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 离群梯度分析 有害样本识别 影响函数 深度学习 数据清洗
📋 核心要点
- 现有影响函数方法计算量大，特别是对于大型深度模型，计算Hessian矩阵的逆矩阵成本很高。
- 论文提出离群梯度分析方法，将识别有害样本问题转化为离群梯度检测，避免了Hessian矩阵的计算。
- 实验表明，该方法在检测错误标记样本、选择数据样本以提高NLP模型性能以及微调大型语言模型方面有效。
📝 摘要（中文）
本文旨在解决数据中心学习中的一个核心挑战：识别对模型性能有害的训练样本。影响函数是解决此问题的重要工具，提供了一个评估训练数据对模型预测影响的强大框架。然而，计算Hessian矩阵的逆矩阵所需的高昂计算成本限制了其应用，尤其是在分析大型深度模型时。本文建立了通过影响函数识别有害训练样本与离群梯度检测之间的桥梁。这种转换不仅提出了一个直接且无需Hessian矩阵的公式，还提供了关于梯度在样本影响中作用的见解。通过系统的实证评估，我们首先在合成数据集上验证了所提出的离群梯度分析方法的假设。然后，我们证明了其在检测视觉模型中的错误标记样本以及选择数据样本以提高自然语言处理Transformer模型性能方面的有效性。我们还将其扩展到用于微调大型语言模型的影响样本识别。
🔬 方法详解
问题定义：论文旨在解决深度学习模型训练中，如何高效识别并去除对模型性能产生负面影响的训练样本的问题。现有方法，如基于影响函数的方法，虽然有效，但由于需要计算Hessian矩阵的逆，计算复杂度高，难以应用于大型模型和数据集。因此，如何在保证识别准确率的前提下，降低计算成本是本研究要解决的核心问题。
核心思路：论文的核心思路是将识别有害训练样本的问题转化为检测离群梯度的问题。作者认为，对模型性能产生负面影响的样本，其梯度往往与其他样本的梯度存在显著差异，表现为离群值。通过检测这些离群梯度，可以有效地识别出有害样本，而无需计算复杂的Hessian矩阵。
技术框架：该方法主要包含以下几个步骤：1) 计算每个训练样本的梯度；2) 使用统计方法（例如，基于四分位距的离群点检测）识别离群梯度；3) 将具有离群梯度的样本标记为有害样本；4) 可选地，从训练集中移除这些有害样本，并重新训练模型。整个流程简单高效，易于实现。
关键创新：该方法最重要的创新在于建立了影响函数与离群梯度之间的联系，将复杂的Hessian矩阵计算转化为简单的梯度离群点检测。这种转化显著降低了计算复杂度，使得该方法可以应用于大型模型和数据集。此外，该方法还提供了一种新的视角来理解样本对模型的影响，即通过梯度来衡量。
关键设计：在梯度离群点检测方面，论文采用了基于四分位距（IQR）的方法。具体来说，对于每个梯度维度，计算其第一四分位数（Q1）和第三四分位数（Q3），然后计算IQR = Q3 - Q1。将小于Q1 - k * IQR或大于Q3 + k * IQR的梯度值视为离群值，其中k是一个超参数，用于控制离群点的敏感度。论文还探讨了其他离群点检测方法，例如基于Z-score的方法，但发现基于IQR的方法效果更好。
🖼️ 关键图片
📊 实验亮点
论文在合成数据集和真实数据集上进行了大量实验，验证了该方法的有效性。在视觉模型中，该方法能够有效地检测出错误标记的样本，并提高模型的准确率。在自然语言处理Transformer模型中，通过选择有益的训练样本，该方法能够提高模型的性能。此外，该方法还成功应用于大型语言模型的微调，证明了其在大规模数据上的适用性。
🎯 应用场景
该研究成果可广泛应用于各种深度学习任务中，例如图像分类、目标检测、自然语言处理等。通过识别并去除有害训练样本，可以提高模型的泛化能力和鲁棒性，减少模型对噪声数据的敏感性。此外，该方法还可以用于数据清洗和数据质量评估，帮助用户更好地理解和利用数据。
📄 摘要（原文）
A core data-centric learning challenge is the identification of training samples that are detrimental to model performance. Influence functions serve as a prominent tool for this task and offer a robust framework for assessing training data influence on model predictions. Despite their widespread use, their high computational cost associated with calculating the inverse of the Hessian matrix pose constraints, particularly when analyzing large-sized deep models. In this paper, we establish a bridge between identifying detrimental training samples via influence functions and outlier gradient detection. This transformation not only presents a straightforward and Hessian-free formulation but also provides insights into the role of the gradient in sample impact. Through systematic empirical evaluations, we first validate the hypothesis of our proposed outlier gradient analysis approach on synthetic datasets. We then demonstrate its effectiveness in detecting mislabeled samples in vision models and selecting data samples for improving performance of natural language processing transformer models. We also extend its use to influential sample identification for fine-tuning Large Language Models.