Pi-DUAL: Using Privileged Information to Distinguish Clean from Noisy Labels

📄 arXiv: 2310.06600v2 📥 PDF

作者: Ke Wang, Guillermo Ortiz-Jimenez, Rodolphe Jenatton, Mark Collier, Efi Kokiopoulou, Pascal Frossard

分类: cs.LG, cs.CV

发布日期: 2023-10-10 (更新: 2024-05-28)

备注: Accepted ICML 2024

💡 一句话要点

提出Pi-DUAL以解决标签噪声问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 标签噪声 特权信息 深度学习 模型泛化 噪声识别

📋 核心要点

  1. 现有方法在利用特权信息时，未能有效防止模型对标签噪声的过拟合，导致泛化性能不足。
  2. Pi-DUAL通过将输出logits分解为预测项和噪声拟合项，利用特权信息自适应调整学习焦点，区分干净与错误标签。
  3. 在ImageNet-PI等关键基准上，Pi-DUAL实现了6.8%的性能提升，成为识别噪声样本的有效方法。

📝 摘要（中文）

标签噪声是深度学习中的普遍问题，常常影响模型的泛化性能。利用仅在训练期间可用的特权信息（PI）已成为缓解这一问题的有效方法。然而，现有基于PI的方法在防止对标签噪声的过拟合方面未能始终优于无PI的方法。为了解决这一不足，本文提出了Pi-DUAL架构，旨在利用PI区分干净标签与错误标签。Pi-DUAL将输出logits分解为基于常规输入特征的预测项和仅受PI影响的噪声拟合项。通过PI引导的门控机制，模型能够自适应地在这两个项之间切换焦点，从而隐式分离干净标签与错误标签的学习路径。实验证明，Pi-DUAL在关键PI基准上取得了显著的性能提升，建立了新的最先进测试集准确率。

🔬 方法详解

问题定义：本文旨在解决深度学习中的标签噪声问题，现有基于特权信息的方法未能有效防止对标签噪声的过拟合，影响模型的泛化能力。

核心思路：Pi-DUAL的核心思路是将输出logits分解为两个部分：一个是基于输入特征的预测项，另一个是仅受特权信息影响的噪声拟合项。通过这种分解，模型能够更好地利用特权信息来区分干净标签与错误标签。

技术框架：Pi-DUAL的整体架构包括输入特征提取、logits分解、门控机制和损失计算等模块。门控机制根据特权信息自适应调整模型的学习焦点，从而实现对干净标签和错误标签的有效区分。

关键创新：Pi-DUAL的主要创新在于其独特的logits分解和门控机制设计，使得模型能够在学习过程中动态调整对不同标签的关注程度，这与传统方法显著不同。

关键设计：在技术细节上，Pi-DUAL采用了特定的损失函数来平衡预测项与噪声拟合项的影响，并设计了适应性门控机制以优化学习过程。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

Pi-DUAL在ImageNet-PI基准上实现了6.8%的性能提升，建立了新的最先进测试集准确率。此外，该方法在后期识别噪声样本的任务中表现优异，超越了其他强有力的方法。

🎯 应用场景

该研究的潜在应用领域包括图像分类、自然语言处理和其他需要处理标签噪声的深度学习任务。Pi-DUAL的设计使其在实际场景中具有良好的可扩展性和实用性，能够有效提升模型在噪声环境下的表现，具有重要的实际价值和未来影响。

📄 摘要（原文）

Label noise is a pervasive problem in deep learning that often compromises the generalization performance of trained models. Recently, leveraging privileged information (PI) -- information available only during training but not at test time -- has emerged as an effective approach to mitigate this issue. Yet, existing PI-based methods have failed to consistently outperform their no-PI counterparts in terms of preventing overfitting to label noise. To address this deficiency, we introduce Pi-DUAL, an architecture designed to harness PI to distinguish clean from wrong labels. Pi-DUAL decomposes the output logits into a prediction term, based on conventional input features, and a noise-fitting term influenced solely by PI. A gating mechanism steered by PI adaptively shifts focus between these terms, allowing the model to implicitly separate the learning paths of clean and wrong labels. Empirically, Pi-DUAL achieves significant performance improvements on key PI benchmarks (e.g., +6.8% on ImageNet-PI), establishing a new state-of-the-art test set accuracy. Additionally, Pi-DUAL is a potent method for identifying noisy samples post-training, outperforming other strong methods at this task. Overall, Pi-DUAL is a simple, scalable and practical approach for mitigating the effects of label noise in a variety of real-world scenarios with PI.