Fairness and Bias Mitigation in Computer Vision: A Survey
作者: Sepehr Dehdashtian, Ruozhen He, Yi Li, Guha Balakrishnan, Nuno Vasconcelos, Vicente Ordonez, Vishnu Naresh Boddeti
分类: cs.CV
发布日期: 2024-08-05
备注: 20 pages, 4 figures
💡 一句话要点
计算机视觉公平性与偏见缓解综述：总结现有方法并展望未来趋势
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 计算机视觉 公平性 偏见缓解 机器学习 深度学习
📋 核心要点
- 计算机视觉系统在现实应用中面临偏见和歧视风险，现有方法难以完全消除数据中的固有偏见。
- 本文旨在全面回顾计算机视觉公平性领域的研究进展，并从定义、分析、缓解和资源等方面进行总结。
- 通过对现有方法的梳理和分析，本文旨在帮助研究人员更好地理解偏见问题，并为未来的研究方向提供指导。
📝 摘要（中文）
本文全面综述了计算机视觉中的公平性问题，总结并阐明了该领域的研究趋势和成果。随着计算机视觉系统日益广泛地应用于高风险的现实场景，迫切需要确保这些系统不会传播或放大历史数据或人为数据中存在的歧视性倾向，也不会无意中从虚假相关性中学习到偏见。本文讨论的主题包括：1) 源自更广泛的公平机器学习文献和相关学科的公平性起源和技术定义；2) 旨在发现和分析计算机视觉系统中偏见的工作；3) 近年来为缓解计算机视觉系统中的偏见而提出的方法的总结；4) 研究人员为衡量、分析和缓解偏见以及提高公平性而创建的资源和数据集的全面总结；5) 讨论了该领域的成功之处、多模态基础模型和生成模型背景下的持续趋势，以及仍需解决的差距。本文的描述应有助于研究人员理解识别和缓解计算机视觉中的偏见的重要性，了解该领域的现状，并确定未来研究的潜在方向。
🔬 方法详解
问题定义：计算机视觉系统在实际应用中，由于训练数据、模型设计等原因，可能存在对特定群体（如种族、性别等）的偏见，导致不公平的结果。现有方法在解决这些问题时，往往难以兼顾性能和公平性，或者在特定场景下有效性不足。
核心思路：本文的核心思路是对计算机视觉公平性领域的研究进行系统性的梳理和总结，从公平性的定义、偏见的来源、缓解方法以及相关资源等方面进行全面的回顾，从而帮助研究人员更好地理解该领域的研究现状和未来发展方向。
技术框架：本文的综述框架主要包括以下几个方面：1) 公平性的定义：介绍公平性的不同技术定义，以及它们在计算机视觉中的应用；2) 偏见的来源：分析计算机视觉系统中偏见的来源，包括数据偏见、算法偏见等；3) 偏见的分析：总结用于检测和分析计算机视觉系统中偏见的方法；4) 偏见的缓解：回顾近年来提出的用于缓解计算机视觉系统中偏见的方法，包括预处理方法、训练时方法和后处理方法；5) 相关资源：介绍用于评估和比较不同公平性方法的资源和数据集。
关键创新：本文的主要创新在于对计算机视觉公平性领域的研究进行了全面的综述，并对该领域的研究趋势和挑战进行了深入的分析。与以往的综述相比，本文更加关注计算机视觉领域的特殊性，并对近年来提出的新的公平性方法进行了详细的介绍。
关键设计：本文的关键设计在于对计算机视觉公平性领域的研究进行了系统性的分类和总结，并对不同方法的优缺点进行了比较。此外，本文还对该领域未来的研究方向进行了展望，为研究人员提供了有价值的参考。
🖼️ 关键图片
📊 实验亮点
本文全面总结了计算机视觉公平性领域的研究进展，涵盖了公平性定义、偏见分析、缓解方法和资源数据集等方面。通过对现有方法的梳理和分析，为研究人员提供了深入了解该领域的窗口，并为未来的研究方向提供了指导。
🎯 应用场景
该研究对计算机视觉系统的公平性具有重要意义，可应用于人脸识别、图像搜索、目标检测等领域，减少算法歧视，提升用户体验，促进社会公平。未来的研究可进一步探索多模态数据中的偏见缓解方法，并将其应用于更广泛的实际场景。
📄 摘要（原文）
Computer vision systems have witnessed rapid progress over the past two decades due to multiple advances in the field. As these systems are increasingly being deployed in high-stakes real-world applications, there is a dire need to ensure that they do not propagate or amplify any discriminatory tendencies in historical or human-curated data or inadvertently learn biases from spurious correlations. This paper presents a comprehensive survey on fairness that summarizes and sheds light on ongoing trends and successes in the context of computer vision. The topics we discuss include 1) The origin and technical definitions of fairness drawn from the wider fair machine learning literature and adjacent disciplines. 2) Work that sought to discover and analyze biases in computer vision systems. 3) A summary of methods proposed to mitigate bias in computer vision systems in recent years. 4) A comprehensive summary of resources and datasets produced by researchers to measure, analyze, and mitigate bias and enhance fairness. 5) Discussion of the field's success, continuing trends in the context of multimodal foundation and generative models, and gaps that still need to be addressed. The presented characterization should help researchers understand the importance of identifying and mitigating bias in computer vision and the state of the field and identify potential directions for future research.