Evaluating the Fairness of Discriminative Foundation Models in Computer Vision
作者: Junaid Ali, Matthaeus Kleindessner, Florian Wenzel, Kailash Budhathoki, Volkan Cevher, Chris Russell
分类: cs.CV, cs.CY, cs.LG
发布日期: 2023-10-18
备注: Accepted at AIES'23
💡 一句话要点
提出新分类法评估计算机视觉中的偏见问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 偏见评估 计算机视觉 去偏见方法 公平性研究 判别基础模型 CLIP OpenCLIP 数据集评估
📋 核心要点
- 现有的判别基础模型在标注任务中存在偏见问题，影响了模型的公平性和可靠性。
- 本文提出了一种新分类法，系统评估偏见缓解方法，并针对不同任务选择合适的去偏见策略。
- 实验结果表明，fair PCA方法在多项任务中有效去偏见，且性能损失较小，适用性强。
📝 摘要（中文）
本文提出了一种新颖的分类法，用于评估用于标注任务的判别基础模型（如对比语言预训练模型CLIP）的偏见。我们系统性地评估了现有的偏见缓解方法，并针对OpenAI的CLIP和OpenCLIP模型在零-shot分类、图像检索和图像描述等关键应用中的表现进行了评估。我们根据三个维度对期望行为进行分类：任务是否涉及人类、任务的主观性以及任务的目的。最后，我们对十个多样化数据集中的二元和多元保护属性进行了定量公平性评估，发现公平主成分分析（fair PCA）在大多数任务中表现良好，且性能损失较小。
🔬 方法详解
问题定义：本文旨在解决判别基础模型在计算机视觉任务中的偏见问题，现有方法在公平性评估和去偏见效果上存在不足。
核心思路：提出一种新颖的分类法，系统性地评估和比较不同的去偏见方法，以便根据具体任务选择合适的策略。
技术框架：整体架构包括三个主要模块：偏见分类、去偏见方法评估和定量公平性评估。首先对任务进行分类，然后评估不同去偏见方法的效果，最后进行定量分析。
关键创新：最重要的创新点在于提出了基于任务特性的新分类法，能够更好地指导去偏见方法的选择，区别于以往单一的评估标准。
关键设计：在实验中，采用fair PCA作为去偏见方法，设置了多个保护属性，并在十个多样化数据集上进行了评估，确保了结果的全面性和可靠性。
📊 实验亮点
实验结果显示，fair PCA方法在大多数任务中有效去偏见，性能损失仅为小幅度，且在零-shot分类和图像检索等任务中表现优异。与基线相比，去偏见后的模型在公平性指标上有显著提升，展示了该方法的有效性。
🎯 应用场景
该研究的潜在应用领域包括计算机视觉中的图像分类、检索和描述等任务，能够帮助开发更公平的AI系统，减少模型在不同人群中的偏见，提升社会责任感。未来，这种方法可以推广到其他领域，如自然语言处理和推荐系统，进一步推动公平性研究的发展。
📄 摘要（原文）
We propose a novel taxonomy for bias evaluation of discriminative foundation models, such as Contrastive Language-Pretraining (CLIP), that are used for labeling tasks. We then systematically evaluate existing methods for mitigating bias in these models with respect to our taxonomy. Specifically, we evaluate OpenAI's CLIP and OpenCLIP models for key applications, such as zero-shot classification, image retrieval and image captioning. We categorize desired behaviors based around three axes: (i) if the task concerns humans; (ii) how subjective the task is (i.e., how likely it is that people from a diverse range of backgrounds would agree on a labeling); and (iii) the intended purpose of the task and if fairness is better served by impartiality (i.e., making decisions independent of the protected attributes) or representation (i.e., making decisions to maximize diversity). Finally, we provide quantitative fairness evaluations for both binary-valued and multi-valued protected attributes over ten diverse datasets. We find that fair PCA, a post-processing method for fair representations, works very well for debiasing in most of the aforementioned tasks while incurring only minor loss of performance. However, different debiasing approaches vary in their effectiveness depending on the task. Hence, one should choose the debiasing approach depending on the specific use case.