Robust Decentralized Fairness Auditing

📄 arXiv: 2610.10199v1 📥 PDF

作者: Sayan Biswas, Jade Garcia Bourrée, Anne-Marie Kermarrec, Palak, Martijn de Vos

分类: cs.LG

发布日期: 2026-10-07

💡 一句话要点

提出Auditopus以解决去中心化公平性审计问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 去中心化审计 公平性审计 大型语言模型 统计向量 鲁棒性 合规性 人工智能伦理

📋 核心要点

  1. 现有的公平性审计方法依赖单一审计者，难以获取全面的查询集，且多审计者合作存在信任问题。
  2. Auditopus通过去中心化的方式，允许多个审计者独立提交查询并共享统计数据，增强了审计的鲁棒性。
  3. 实验显示，Auditopus在面对49%对手审计者时，仍能有效识别不公平的LLM，审计错误率降低了78%。

📝 摘要（中文）

随着新兴立法的出台，大型语言模型（LLMs）需要进行公平性审计以符合监管标准。现有的黑箱审计方法通常假设有单一审计者可以访问大量代表性查询集，但在实际中，审计者难以获取这样的查询集。论文提出了Auditopus，一种新颖的去中心化公平性审计方法，允许多个审计者通过各自的查询集协作审计LLM。Auditopus在没有中央服务器的情况下进行审计，审计者仅发送查询结果的累积统计向量，从而避免了敏感查询的泄露。实验结果表明，Auditopus在面对对手时显著降低了审计错误率，确保了不公平的LLM不会被误判为公平。

🔬 方法详解

问题定义：本文旨在解决现有公平性审计方法中单一审计者的局限性及多审计者合作带来的信任问题，尤其是在审计大型语言模型时的公平性评估。现有方法容易受到审计者操控，导致审计结果失真。

核心思路：Auditopus的核心思路是通过去中心化的审计机制，让多个审计者在没有中央服务器的情况下独立工作，提交查询的累积统计向量，从而避免敏感数据泄露并增强审计的可靠性。

技术框架：Auditopus的整体架构包括多个审计者在每轮中独立生成查询，发送统计向量，其他审计者根据这些向量进行公平性评估。每个审计者会对不一致的统计向量进行下权重处理，以提高审计的准确性。

关键创新：Auditopus的主要创新在于引入了去中心化的审计流程和统计向量的下权重机制，使得即使在存在对手审计者的情况下，审计结果依然可靠。这一设计与传统的集中式审计方法形成鲜明对比。

关键设计：在实现中，Auditopus设定了固定的查询数量和统计向量的处理规则，确保每个审计者的贡献被合理评估。通过对统计向量进行一致性检验，确保了审计结果的公正性。实验中使用了两个预训练的LLM和两个数据集进行对比，验证了方法的有效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在实验中，Auditopus在面对优化向量的对手审计者时，审计错误率平均降低了78%，相较于无防御措施和现有的鲁棒聚合基线，至少降低了62%。即使在49%的审计者为对手的情况下，Auditopus依然能够有效识别不公平的LLM，确保审计的准确性。

🎯 应用场景

Auditopus的研究成果在多个领域具有广泛的应用潜力，尤其是在需要遵循公平性标准的人工智能系统中，如招聘、信贷评估和法律合规等。通过确保模型的公平性，Auditopus能够帮助企业和机构在遵循法规的同时，提升公众对其AI系统的信任度。未来，随着对AI公平性要求的不断提高，Auditopus的应用前景将更加广阔。

📄 摘要（原文）

Emerging legislation requires large language models (LLMs) to be audited for compliance with regulatory standards, particularly fairness. Such black-box audits typically assume a single auditor with access to a large, representative set of queries. In practice, it can be difficult for an auditor to obtain such a query set, but multiple auditors can together cover the relevant demographic groups by auditing the LLM collaboratively with their individual query sets. However, relying on multiple auditors raises a fundamental trust problem, as they may act on behalf of the LLM provider to portray a misleading appearance of fairness, i.e., fairwashing. We propose Auditopus, a novel approach for robust decentralized fairness auditing. In Auditopus, auditing proceeds in rounds without a central server. In each round, every auditor issues a fixed number of queries to the LLM, and sends only cumulative statistics vectors of its query results to other auditors instead of sensitive queries in clear. The fairness of the audited LLM is then estimated by aggregating all the vectors. We show theoretically and empirically that even a single adversarial auditor in the network can steer this estimate by fabricating the vectors it sends, making an unfair LLM appear fair. To address this threat, Auditopus has each honest auditor locally down-weight any auditor whose cumulative statistics vectors are statistically inconsistent with previous ones. We implement Auditopus and compare it to robust aggregation baselines on two datasets with two pre-trained LLMs. Against an attacker that optimizes the vectors it sends to make the LLM appear fair, Auditopus reduces audit error by up to 78% on average relative to no defense and at least 62% relative to the robust aggregation baselines. Even when 49% of the auditors are adversarial, Auditopus never lets a very unfair or moderately unfair LLM pass as fair.