Exposing the Illusion of Fairness: Auditing Vulnerabilities to Distributional Manipulation Attacks
作者: Valentin Lafargue, Adriana Laurindo Monteiro, Emmanuelle Claeys, Laurent Risser, Jean-Michel Loubes
分类: cs.LG, math.OC, stat.AP
发布日期: 2025-07-28
💡 一句话要点
揭示公平性幻觉：审计算法对分布操纵攻击的脆弱性
🎯 匹配领域: 支柱一：机器人控制 (Robot Control)
关键词: 公平性审计 数据操纵 差异性影响 熵投影 最优传输 偏见检测 人工智能合规
📋 核心要点
- 现有全局公平性指标易受数据分布的影响，攻击者可以通过操纵数据来满足公平性标准，从而规避审计。
- 论文提出使用熵或最优传输投影等数学方法，在满足公平性约束的条件下，对经验分布进行修改，从而模拟数据操纵。
- 通过实验验证了攻击者规避公平性检查的可能性，并为审计员提供了检测此类数据操纵的建议。
📝 摘要（中文）
随着人工智能算法在现实应用中的日益普及，证明其合规性已成为一项重要挑战。为了满足欧盟人工智能法案的监管要求，必须检查算法可能存在的偏见行为。监管驱动的审计越来越依赖于全局公平性指标，其中差异性影响是最广泛使用的指标。然而，这些全局指标高度依赖于计算样本的分布。我们首先研究如何操纵数据样本以人为地满足公平性标准，创建与原始分布在统计上无法区分，同时满足规定的公平性约束的最小扰动数据集。然后，我们研究如何检测这种操纵。我们的分析（i）引入了使用熵或最优传输投影在公平性约束下修改经验分布的数学方法，（ii）研究了受审计方可能规避公平性检查的方式，以及（iii）提供了帮助审计员检测此类数据操纵的建议。这些结果通过在偏见检测中的经典表格数据集上的实验得到验证。
🔬 方法详解
问题定义：论文旨在解决人工智能算法审计中，全局公平性指标易受数据分布操纵的问题。现有的公平性审计方法主要依赖于全局指标，但这些指标容易被攻击者通过修改数据分布来人为地满足，从而产生算法“公平”的假象。这种操纵使得审计结果失效，无法真正保证算法的公平性。
核心思路：论文的核心思路是研究如何通过对数据分布进行微小的、难以察觉的修改，使得算法在全局公平性指标上表现良好，从而绕过审计。同时，研究如何检测这种人为操纵的数据分布。通过模拟攻击者的行为，可以更好地理解算法的脆弱性，并为审计员提供有效的检测方法。
技术框架：论文的技术框架主要包含两个部分：数据操纵和操纵检测。数据操纵部分，利用熵投影和最优传输投影等方法，在满足公平性约束的条件下，对原始数据分布进行修改，生成新的数据分布。操纵检测部分，研究如何通过统计方法检测数据分布是否被操纵。整体流程是：首先，利用数据操纵方法生成满足公平性约束的“伪造”数据集；然后，利用操纵检测方法判断数据集是否被操纵。
关键创新：论文的关键创新在于提出了使用熵投影和最优传输投影等数学方法来模拟数据操纵。这些方法能够在保证数据分布与原始分布在统计上难以区分的前提下，有效地满足公平性约束。此外，论文还研究了如何检测这种人为操纵的数据分布，为审计员提供了新的检测工具。
关键设计：论文的关键设计包括：(1) 使用熵投影和最优传输投影作为数据操纵的手段，保证修改后的数据分布与原始分布的相似性；(2) 定义了公平性约束，例如差异性影响，作为数据操纵的目标；(3) 研究了多种统计方法，例如分布差异性度量，作为操纵检测的手段。具体参数设置和损失函数取决于所使用的熵投影或最优传输投影的具体实现。
🖼️ 关键图片
📊 实验亮点
论文通过在经典表格数据集上的实验验证了攻击者可以通过操纵数据分布来规避公平性检查。实验结果表明，即使是微小的扰动也足以使算法在全局公平性指标上表现良好，从而掩盖其潜在的偏见。此外，论文还展示了如何使用统计方法检测这种数据操纵，并为审计员提供了有效的检测工具。
🎯 应用场景
该研究成果可应用于人工智能算法的公平性审计领域，帮助审计员检测数据操纵行为，提高审计的有效性。此外，该研究还可以用于评估算法对数据分布变化的鲁棒性，从而开发更加公平和可靠的算法。未来，该研究可以扩展到其他类型的公平性指标和数据类型，为人工智能的公平性保障提供更全面的解决方案。
📄 摘要（原文）
Proving the compliance of AI algorithms has become an important challenge with the growing deployment of such algorithms for real-life applications. Inspecting possible biased behaviors is mandatory to satisfy the constraints of the regulations of the EU Artificial Intelligence's Act. Regulation-driven audits increasingly rely on global fairness metrics, with Disparate Impact being the most widely used. Yet such global measures depend highly on the distribution of the sample on which the measures are computed. We investigate first how to manipulate data samples to artificially satisfy fairness criteria, creating minimally perturbed datasets that remain statistically indistinguishable from the original distribution while satisfying prescribed fairness constraints. Then we study how to detect such manipulation. Our analysis (i) introduces mathematically sound methods for modifying empirical distributions under fairness constraints using entropic or optimal transport projections, (ii) examines how an auditee could potentially circumvent fairness inspections, and (iii) offers recommendations to help auditors detect such data manipulations. These results are validated through experiments on classical tabular datasets in bias detection.