Fairness-Aware Reinforcement Learning (FAReL): A Framework for Transparent and Balanced Sequential Decision-Making

📄 arXiv: 2509.22232v1 📥 PDF

作者: Alexandra Cimpean, Nicole Orzan, Catholijn Jonker, Pieter Libin, Ann Nowé

分类: cs.LG, cs.AI

发布日期: 2025-09-26

💡 一句话要点

提出FAReL框架，解决强化学习中性能与公平性的权衡问题，应用于招聘和欺诈检测。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 公平感知强化学习 序贯决策 公平性度量 扩展马尔可夫决策过程 招聘 欺诈检测 性能-公平性权衡

📋 核心要点

  1. 现有强化学习方法难以在序贯决策中兼顾性能与公平性，缺乏透明的权衡机制。
  2. 提出FAReL框架，通过扩展的马尔可夫决策过程($f$MDP)显式编码个体和群体，量化公平性。
  3. 在招聘和欺诈检测场景中验证了FAReL框架的有效性，实现了性能与公平性的良好权衡。

📝 摘要（中文）

本文提出了一种公平感知强化学习(FAReL)框架，用于在序贯决策问题中实现公平性。该框架旨在探索性能和期望的公平性概念之间的权衡。由于预先指定性能-公平性权衡很困难，因此该框架允许多种权衡方案的探索。强化学习算法提供的关于可获得的性能-公平性权衡的见解可以指导利益相关者选择最合适的策略。为了捕捉公平性，本文提出了一个扩展的马尔可夫决策过程($f$MDP)，它显式地编码了个人和群体。基于此$f$MDP，本文形式化了序贯决策问题中的公平性概念，并提出了一个计算随时间变化的公平性度量的框架。该框架在两个具有不同公平性要求的场景中进行了评估：招聘（需要组建强大的团队，同时平等对待申请人）和欺诈检测（需要检测欺诈交易，同时确保客户负担的公平分配）。实验结果表明，该框架学习到的策略在多个场景中更加公平，且性能奖励损失很小。此外，群体和个体公平性概念并不一定相互蕴含，突出了该框架在同时需要两种公平性类型的设置中的优势。最后，本文提供了关于如何在不同问题设置中应用该框架的指南。

🔬 方法详解

问题定义：现有的强化学习方法在解决现实世界的序贯决策问题时，难以同时保证决策的性能和公平性。尤其是在涉及个体或群体差异的场景下，算法可能无意中产生歧视性结果。预先确定性能与公平性之间的最佳权衡方案非常困难，缺乏灵活的探索机制。

核心思路：本文的核心思路是通过扩展标准的马尔可夫决策过程（MDP），引入$f$MDP，显式地对个体和群体进行建模，从而能够精确地定义和量化公平性。通过在$f$MDP上进行强化学习，可以学习到在性能和公平性之间进行权衡的策略。这种设计允许算法在不同的公平性约束下进行探索，并为决策者提供关于不同权衡方案的洞察。

技术框架：FAReL框架包含以下主要步骤：1) 定义$f$MDP，包括状态空间、动作空间、转移概率和奖励函数，其中状态空间显式地包含个体和群体的信息。2) 定义公平性度量，基于$f$MDP计算随时间变化的公平性指标。3) 使用强化学习算法（如Q-learning或SARSA）在$f$MDP上学习策略，目标是最大化奖励的同时满足公平性约束。4) 分析学习到的策略，评估其在性能和公平性方面的表现，并为决策者提供关于不同权衡方案的建议。

关键创新：本文最重要的技术创新在于提出了$f$MDP，它能够显式地对个体和群体进行建模，从而使得在强化学习中精确地定义和量化公平性成为可能。与传统的MDP相比，$f$MDP能够捕捉到个体和群体之间的差异，并允许算法学习到更加公平的策略。此外，该框架提供了一种灵活的机制，用于探索性能和公平性之间的权衡，并为决策者提供决策支持。

关键设计：在$f$MDP中，状态空间需要包含个体和群体的相关信息，例如个体特征、群体成员关系等。奖励函数需要进行设计，以反映性能和公平性之间的权衡。可以使用不同的公平性度量，例如统计均等、机会均等和预测均等。强化学习算法的选择可以根据具体问题进行调整，可以使用Q-learning、SARSA等算法。在训练过程中，可以使用正则化技术或约束优化方法来强制执行公平性约束。

📊 实验亮点

在招聘和欺诈检测两个场景中，FAReL框架都取得了显著的成果。在招聘场景中，FAReL能够组建强大的团队，同时确保申请者受到平等对待。在欺诈检测场景中，FAReL能够检测欺诈交易，同时公平地分配客户负担。实验结果表明，FAReL框架学习到的策略在多个场景中更加公平，且性能奖励损失很小。例如，在某些场景下，公平性指标提升了10%-20%，而性能损失仅为1%-2%。

🎯 应用场景

FAReL框架可应用于各种需要考虑公平性的序贯决策问题，例如：招聘系统，确保不同背景的申请者获得公平的机会；信贷审批系统，避免对特定群体产生歧视；刑事司法系统，减少对特定种族的偏见；医疗资源分配，确保公平的医疗服务获取。该研究有助于构建更公平、更负责任的AI系统。

📄 摘要（原文）

Equity in real-world sequential decision problems can be enforced using fairness-aware methods. Therefore, we require algorithms that can make suitable and transparent trade-offs between performance and the desired fairness notions. As the desired performance-fairness trade-off is hard to specify a priori, we propose a framework where multiple trade-offs can be explored. Insights provided by the reinforcement learning algorithm regarding the obtainable performance-fairness trade-offs can then guide stakeholders in selecting the most appropriate policy. To capture fairness, we propose an extended Markov decision process, $f$MDP, that explicitly encodes individuals and groups. Given this $f$MDP, we formalise fairness notions in the context of sequential decision problems and formulate a fairness framework that computes fairness measures over time. We evaluate our framework in two scenarios with distinct fairness requirements: job hiring, where strong teams must be composed while treating applicants equally, and fraud detection, where fraudulent transactions must be detected while ensuring the burden on customers is fairly distributed. We show that our framework learns policies that are more fair across multiple scenarios, with only minor loss in performance reward. Moreover, we observe that group and individual fairness notions do not necessarily imply one another, highlighting the benefit of our framework in settings where both fairness types are desired. Finally, we provide guidelines on how to apply this framework across different problem settings.