FairTest: Search-Based Fairness Testing for Multi-Agent Reinforcement Learning Systems

📄 arXiv: 2609.27309v1 📥 PDF

作者: Xiaotong Wang, Xuan Xie

分类: cs.SE, cs.LG

发布日期: 2026-09-23

备注: 28 pages, 7 figures

💡 一句话要点

提出FairTest以解决多智能体强化学习系统的公平性测试问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 多智能体强化学习 公平性测试 搜索引导 测试优先级 深度强化学习

📋 核心要点

  1. 现有的多智能体强化学习方法在公平性测试方面存在不足，无法有效发现智能体之间的奖励分配不均问题。
  2. 本文提出FairTest，通过搜索引导和测试优先级相结合，旨在发现MARL策略的不公平执行，提升测试效率。
  3. 实验结果表明，FairTest在检测公平性失败方面显著优于基线方法，平均失败计数提升221%，覆盖率提高23%。

📝 摘要（中文）

多智能体强化学习（MARL）训练共享同一环境的智能体团队，目标是最大化团队回报。然而，高回报并不意味着智能体之间的奖励在每个回合中都是公平的。现有的深度强化学习测试方法很少关注MARL的公平性。本文提出了FairTest，一种基于搜索的测试方法，旨在发现MARL策略的不公平执行。该设计结合了搜索引导和测试优先级，使用三个适应度函数对候选执行进行评分，分别测量已执行的运行的公平性、从抽象状态和公平特征预测的公平性，以及从策略中读取的决策不确定性。通过交叉和变异生成进一步的候选执行。优先级根据预测的公平性和决策不确定性对候选进行排序，从而使测试运行能够集中在预期失败的候选上。FairTest在三个环境和两种MARL算法上进行了评估，结果显示其在检测公平性失败方面显著优于三个基线，平均失败计数比最强基线高出221%，覆盖率提高了23%。

🔬 方法详解

问题定义：本文旨在解决多智能体强化学习系统中公平性测试的不足，现有方法未能有效识别智能体之间奖励分配的不公平现象。

核心思路：FairTest通过结合搜索引导和测试优先级，系统性地识别和测试不公平的执行路径，以提高MARL策略的公平性。

技术框架：FairTest的整体架构包括三个主要模块：适应度评分、候选生成和优先级排序。适应度评分使用三个函数评估候选执行的公平性，候选生成通过交叉和变异扩展候选集，优先级排序则根据预测的公平性和决策不确定性进行排序。

关键创新：FairTest的主要创新在于其综合使用了多个适应度函数来评估公平性，并通过搜索策略优化测试过程，这与传统方法的单一评估方式形成鲜明对比。

关键设计：在设计中，适应度函数分别关注已执行运行的公平性、抽象状态的预测公平性和决策的不确定性，确保测试的全面性和有效性。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

FairTest在三个不同环境和两种MARL算法上进行了评估，结果显示其在检测公平性失败方面的表现显著优于三个基线方法，平均失败计数比最强基线高出221%，同时覆盖率提升了23%，具有重要的实用价值。

🎯 应用场景

FairTest的研究成果可广泛应用于多智能体系统的开发与测试，尤其是在需要确保公平性和透明度的领域，如自动驾驶、智能制造和金融决策等。通过提升MARL系统的公平性，能够增强用户信任并促进技术的广泛应用。

📄 摘要（原文）

Multi-agent Reinforcement Learning (MARL) trains a team of agents that share one environment and learn their policies together. Training maximizes the team return, and a high return does not imply that the rewards are shared fairly among the agents in every episode. Testing is an established way to discover the failures of deep reinforcement learning, yet few methods address the fairness of MARL. In this work, we propose FairTest, a search-based testing approach that seeks the unfair executions of a MARL policy. The design combines search guidance with test prioritization. The guidance scores each candidate with three fitness functions. One measures the fairness of the runs already performed, another predicts the fairness from abstract states and fairness features, and the third reads the decision uncertainty from the policy. Crossover and mutation derive further candidates from the observed executions. The prioritization ranks the candidates by the predicted fairness and the decision uncertainty, so that the runs reach the candidates where failures are expected. FairTest is evaluated on three environments and two MARL algorithms, and four baselines are given the same budget. It detects the most fairness failures compared to three baselines with statistical significance and large effect sizes. The failure count exceeds that of the strongest baseline by 221% on average and coverage improves by an average of 23%.