Fairness and Bias in Multimodal AI: A Survey

📄 arXiv: 2406.19097v2 📥 PDF

作者: Tosin Adewumi, Lama Alkhaled, Namrata Gurung, Goya van Boven, Irene Pagliai

分类: cs.CL

发布日期: 2024-06-27 (更新: 2024-09-07)

备注: 12 pages

💡 一句话要点

调查多模态AI中的公平性和偏见问题，强调预处理缓解方法的重要性。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态学习 公平性 偏见缓解 预处理 大型多模态模型

📋 核心要点

  1. 现有研究对大型多模态模型（LMM）中的公平性和偏见关注不足，相比之下，大型语言模型（LLM）的研究更为广泛。
  2. 论文强调了预处理（preuse）作为一种重要的偏见缓解方法，与内在和外在缓解方法相比，预处理方法较少被提及。
  3. 通过对大量数据集和模型的分析，论文旨在为研究人员和利益相关者提供解决多模态和语言AI中公平性和偏见挑战的见解。

📝 摘要（中文）

解决人工智能（AI）系统中的公平性和偏见问题至关重要。近年来，主流媒体充斥着关于刻板印象和许多此类系统中其他类型偏见的事件报道。本调查旨在填补大型多模态模型（LMM）中公平性和偏见研究相对不足的空白，相比之下，大型语言模型（LLM）的研究更为广泛。我们提供了50个与这两种AI类型相关的数据集和模型示例，以及影响它们的偏见挑战。我们讨论了较少被提及的偏见缓解类别，即预处理（特别关注其中的第一部分，我们称之为预使用）。与文献中众所周知的内在和外在缓解方法相比，该方法较少被提及。我们批判性地讨论了研究人员解决这些挑战的各种方式。我们的方法包括在两个著名的搜索引擎（Google Scholar和Web of Science (WoS)）上使用略有不同的搜索查询，结果显示，对于查询“大型多模态模型中的公平性和偏见”以及“大型语言模型中的公平性和偏见”，Scholar的初始结果分别为33,400和538,000个链接，而WoS的初始结果分别为4和50个链接。为了可重复性和验证，我们提供了搜索结果的链接以及所有最终审查论文的引用。我们相信这项工作有助于填补这一空白，并为研究人员和其他利益相关者提供关于如何解决多模态和语言AI中公平性和偏见挑战的见解。

🔬 方法详解

问题定义：论文旨在解决大型多模态模型（LMMs）中存在的公平性和偏见问题。现有方法，特别是针对大型语言模型（LLMs）的方法，在多模态场景下的适用性和有效性受到挑战。现有的偏见缓解方法，如内在和外在方法，可能无法充分解决LMMs中复杂的偏见来源。

核心思路：论文的核心思路是强调预处理（preuse）作为一种重要的偏见缓解策略。预处理着重于在模型训练之前，通过数据清洗、数据增强等手段，减少数据集中潜在的偏见。这种方法旨在从源头上减少偏见，从而提高模型的公平性。

技术框架：论文采用调研分析的方法，首先通过系统性的文献搜索，收集了大量关于LMMs和LLMs中公平性和偏见的研究。然后，对这些研究进行分类和总结，重点关注数据集、模型以及偏见缓解方法。论文特别强调了预处理方法，并将其与内在和外在方法进行比较。

关键创新：论文的创新点在于强调了预处理（preuse）在缓解LMMs中的偏见的重要性。与传统的内在和外在方法相比，预处理方法更注重在数据层面减少偏见，从而从根本上提高模型的公平性。

关键设计：论文没有提出新的模型或算法，而是对现有研究进行了综述和分析。关键设计体现在对预处理方法的强调和对现有数据集、模型的分类总结上。论文通过分析大量案例，揭示了LMMs中偏见的来源和影响，并提出了相应的缓解策略。

📊 实验亮点

论文通过对Google Scholar和Web of Science的搜索结果进行对比，揭示了LMMs中公平性和偏见研究的不足。搜索结果显示，关于LLMs中公平性和偏见的研究数量远大于LMMs，表明LMMs领域的公平性问题亟待关注。论文还提供了50个与LMMs和LLMs相关的数据集和模型示例，为研究人员提供了宝贵的资源。

🎯 应用场景

该研究成果可应用于开发更公平、更可靠的多模态AI系统，例如图像识别、视频分析、语音助手等。通过关注数据预处理阶段的偏见缓解，可以减少AI系统在不同人群中的歧视，提高用户体验，并促进AI技术的健康发展。未来的研究可以进一步探索预处理方法的具体实现和效果评估。

📄 摘要（原文）

The importance of addressing fairness and bias in artificial intelligence (AI) systems cannot be over-emphasized. Mainstream media has been awashed with news of incidents around stereotypes and other types of bias in many of these systems in recent years. In this survey, we fill a gap with regards to the relatively minimal study of fairness and bias in Large Multimodal Models (LMMs) compared to Large Language Models (LLMs), providing 50 examples of datasets and models related to both types of AI along with the challenges of bias affecting them. We discuss the less-mentioned category of mitigating bias, preprocessing (with particular attention on the first part of it, which we call preuse). The method is less-mentioned compared to the two well-known ones in the literature: intrinsic and extrinsic mitigation methods. We critically discuss the various ways researchers are addressing these challenges. Our method involved two slightly different search queries on two reputable search engines, Google Scholar and Web of Science (WoS), which revealed that for the queries 'Fairness and bias in Large Multimodal Models' and 'Fairness and bias in Large Language Models', 33,400 and 538,000 links are the initial results, respectively, for Scholar while 4 and 50 links are the initial results, respectively, for WoS. For reproducibility and verification, we provide links to the search results and the citations to all the final reviewed papers. We believe this work contributes to filling this gap and providing insight to researchers and other stakeholders on ways to address the challenges of fairness and bias in multimodal and language AI.