Efficient Bias Mitigation Without Privileged Information
作者: Mateo Espinosa Zarlenga, Swami Sankaranarayanan, Jerone T. A. Andrews, Zohreh Shams, Mateja Jamnik, Alice Xiang
分类: cs.LG, cs.AI
发布日期: 2024-09-26
备注: Accepted at the 18th European Conference on Computer Vision (ECCV 2024) as an Oral presentation
💡 一句话要点
提出TAB框架，无需特权信息高效缓解深度学习模型中的偏见问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 偏见缓解 公平性 无特权信息 数据增强 深度学习
📋 核心要点
- 现有偏见缓解方法依赖群体标签或大量超参数搜索，限制了其在大型数据集和计算资源受限场景下的应用。
- TAB框架利用辅助模型的训练历史识别虚假样本，并生成群体平衡的训练集，从而训练更鲁棒的模型。
- 实验表明，TAB在无需群体信息或模型选择的情况下，提高了最差群体的性能，同时保持了整体准确性。
📝 摘要（中文）
深度神经网络通过经验风险最小化训练时，常常在不同群体间表现出显著的性能差异，尤其是在群体标签和任务标签存在虚假相关时（例如，“草地背景”和“奶牛”）。现有的偏见缓解方法通常依赖于训练或验证的群体标签，或者需要大量的超参数搜索。这些数据和计算需求阻碍了这些方法的实际部署，特别是当数据集太大而无法进行群体标注、计算资源有限以及模型通过已经复杂的流程进行训练时。在本文中，我们提出了用于偏见缓解的定向增强（TAB），这是一个简单的无超参数框架，它利用辅助模型的整个训练历史来识别虚假样本，并生成一个群体平衡的训练集，从中可以训练出一个鲁棒的模型。我们表明，TAB在没有任何群体信息或模型选择的情况下提高了最差群体的性能，优于现有方法，同时保持了整体准确性。
🔬 方法详解
问题定义：论文旨在解决深度神经网络在训练过程中由于数据集中存在的虚假相关性而产生的偏见问题，即模型在某些特定群体上的表现明显差于其他群体。现有方法通常需要群体标签信息或大量的超参数调整，这在实际应用中存在诸多限制，例如数据隐私问题、标注成本高昂以及计算资源不足等。
核心思路：TAB的核心思路是利用一个辅助模型（helper model）的训练历史来识别数据集中存在的虚假相关样本，并基于这些样本生成一个群体平衡的训练集。通过在平衡数据集上重新训练模型，可以有效缓解模型对特定群体的偏见。这种方法无需直接访问群体标签，也避免了繁琐的超参数搜索过程。
技术框架：TAB框架主要包含以下几个阶段：1) 辅助模型训练：首先，使用原始训练数据训练一个辅助模型。2) 虚假样本识别：在辅助模型的训练过程中，记录每个样本的训练损失。损失较高的样本被认为是虚假相关样本。3) 群体平衡数据集生成：基于识别出的虚假样本，通过数据增强等方式，生成一个群体平衡的训练集。4) 鲁棒模型训练：最后，使用群体平衡的训练集重新训练模型，得到一个鲁棒的模型。
关键创新：TAB的关键创新在于其无需群体标签信息，而是通过分析辅助模型的训练历史来识别虚假相关样本。这种方法避免了对敏感信息的依赖，提高了算法的适用性。此外，TAB框架是无超参数的，降低了算法的部署难度。
关键设计：TAB的关键设计包括：1) 损失阈值：用于判断样本是否为虚假相关样本的损失阈值。论文中采用动态阈值，例如使用损失的百分位数。2) 数据增强策略：用于生成群体平衡数据集的数据增强策略，例如随机裁剪、旋转等。3) 辅助模型结构：辅助模型的结构可以根据具体任务进行选择，通常选择与最终模型结构相似的模型。
🖼️ 关键图片
📊 实验亮点
实验结果表明，TAB框架在多个基准数据集上均取得了显著的性能提升。例如，在CelebA数据集上，TAB框架在保证整体准确率的前提下，显著提高了最差群体的准确率，优于现有的偏见缓解方法。此外，TAB框架无需超参数调整，降低了算法的部署难度。
🎯 应用场景
TAB框架可广泛应用于图像识别、自然语言处理等领域，尤其适用于数据集存在偏见且难以获取群体标签的场景。例如，在人脸识别中，可以缓解模型对特定种族或性别群体的偏见；在医疗诊断中，可以提高模型对罕见疾病的诊断准确率。该研究有助于提升AI系统的公平性和可靠性，促进AI技术在各个领域的广泛应用。
📄 摘要（原文）
Deep neural networks trained via empirical risk minimisation often exhibit significant performance disparities across groups, particularly when group and task labels are spuriously correlated (e.g., "grassy background" and "cows"). Existing bias mitigation methods that aim to address this issue often either rely on group labels for training or validation, or require an extensive hyperparameter search. Such data and computational requirements hinder the practical deployment of these methods, especially when datasets are too large to be group-annotated, computational resources are limited, and models are trained through already complex pipelines. In this paper, we propose Targeted Augmentations for Bias Mitigation (TAB), a simple hyperparameter-free framework that leverages the entire training history of a helper model to identify spurious samples, and generate a group-balanced training set from which a robust model can be trained. We show that TAB improves worst-group performance without any group information or model selection, outperforming existing methods while maintaining overall accuracy.