FairMarket-RL: LLM-Guided Fairness Shaping for Multi-Agent Reinforcement Learning in Peer-to-Peer Markets

📄 arXiv: 2506.22708v1 📥 PDF

作者: Shrenik Jadhav, Birva Sevak, Srijita Das, Akhtar Hussain, Wencong Su, Van-Hai Bui

分类: cs.LG, econ.GN, eess.SY

发布日期: 2025-06-28

💡 一句话要点

FairMarket-RL：基于LLM引导的强化学习框架，用于点对点市场中的公平性塑造

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 点对点交易 强化学习 大型语言模型 公平性 多智能体系统

📋 核心要点

  1. 现有P2P交易方法缺乏确保公平性的稳健框架，导致市场参与者之间的利益分配不均。
  2. FairMarket-RL利用LLM作为公平性评论员，通过奖励塑造将公平性指标融入强化学习代理的训练过程中。
  3. 实验表明，该框架能有效提高公平性指标，改善市场效率，并具有良好的可扩展性。

📝 摘要（中文）

本文提出了一种名为FairMarket-RL的新型混合框架，该框架结合了大型语言模型（LLM）和强化学习（RL），以实现具有公平意识的交易代理。在具有多个卖家和买家的模拟点对点（P2P）微电网中，LLM充当实时公平性评论员，使用两个指标评估每个交易过程：买方公平性（FTB）和卖方间公平性（FBS）。这些公平性分数通过预定的λ系数集成到代理奖励中，形成自适应的LLM引导的奖励塑造循环，取代了脆弱的、基于规则的公平性约束。代理使用独立近端策略优化（IPPO）进行训练，并实现公平的结果，满足超过90%的买方需求，保持公平的卖方利润率，并始终达到高于0.80的FTB和FBS分数。训练过程表明，公平性反馈提高了收敛性，减少了买方短缺，并缩小了卖家之间的利润差距。凭借其基于语言的评论员，该框架可以自然地扩展，并且扩展到具有家庭产消者的大型配电系统说明了其在实际中的适用性。因此，FairMarket-RL为去中心化能源系统中的自主交易提供了一种可扩展的、公平驱动的解决方案。

🔬 方法详解

问题定义：论文旨在解决点对点（P2P）市场中，现有方法难以保证交易公平性的问题。传统方法通常依赖于硬编码的规则或约束，这些规则难以适应复杂多变的市场环境，并且缺乏对不同参与者利益的动态平衡。这可能导致买方需求无法充分满足，卖家利润差距过大等问题。

核心思路：论文的核心思路是利用大型语言模型（LLM）的自然语言理解和推理能力，作为公平性评论员，实时评估交易过程的公平性，并将评估结果反馈给强化学习（RL）代理，从而引导代理学习公平的交易策略。这种方法避免了硬编码规则的局限性，能够更灵活地适应不同的市场环境和参与者需求。

技术框架：FairMarket-RL框架包含以下主要模块：1) P2P市场环境模拟器，模拟买家和卖家之间的交易过程；2) 基于LLM的公平性评论员，使用FTB（买方公平性）和FBS（卖方间公平性）等指标评估交易过程的公平性；3) 基于独立近端策略优化（IPPO）的强化学习代理，负责学习交易策略；4) 奖励塑造模块，将LLM的公平性评估结果转化为奖励信号，引导代理学习公平的策略。整个流程形成一个闭环，LLM的反馈不断优化代理的交易策略。

关键创新：该论文最重要的技术创新点在于将LLM引入到强化学习框架中，作为公平性评论员。与传统的基于规则的公平性约束相比，LLM能够更灵活、更智能地评估交易过程的公平性，并提供更细粒度的反馈。这种方法不仅提高了公平性，还提高了市场的效率和可扩展性。

关键设计：关键设计包括：1) 使用FTB和FBS作为公平性指标，FTB衡量买方需求满足程度，FBS衡量卖家之间的利润差距；2) 使用预定的λ系数来调整公平性奖励的权重，平衡公平性和效率；3) 使用IPPO算法训练多个独立的代理，每个代理负责一个市场参与者的交易策略；4) LLM的prompt设计，如何有效地将市场状态信息输入LLM，并获得可靠的公平性评估结果。

📊 实验亮点

实验结果表明，FairMarket-RL能够显著提高P2P市场的公平性，FTB和FBS分数均超过0.80。与没有公平性约束的基线方法相比，FairMarket-RL能够满足超过90%的买方需求，并显著缩小卖家之间的利润差距。此外，实验还表明，公平性反馈能够提高强化学习的收敛速度，并减少买方短缺。

🎯 应用场景

FairMarket-RL具有广泛的应用前景，尤其是在去中心化能源系统、共享经济平台和金融市场等领域。它可以用于构建更公平、更高效的P2P交易市场，促进资源优化配置，提高市场参与者的满意度，并为实现可持续发展目标做出贡献。该框架还可以扩展到其他需要考虑公平性的多智能体系统中。

📄 摘要（原文）

Peer-to-peer (P2P) trading is increasingly recognized as a key mechanism for decentralized market regulation, yet existing approaches often lack robust frameworks to ensure fairness. This paper presents FairMarket-RL, a novel hybrid framework that combines Large Language Models (LLMs) with Reinforcement Learning (RL) to enable fairness-aware trading agents. In a simulated P2P microgrid with multiple sellers and buyers, the LLM acts as a real-time fairness critic, evaluating each trading episode using two metrics: Fairness-To-Buyer (FTB) and Fairness-Between-Sellers (FBS). These fairness scores are integrated into agent rewards through scheduled λ-coefficients, forming an adaptive LLM-guided reward shaping loop that replaces brittle, rule-based fairness constraints. Agents are trained using Independent Proximal Policy Optimization (IPPO) and achieve equitable outcomes, fulfilling over 90% of buyer demand, maintaining fair seller margins, and consistently reaching FTB and FBS scores above 0.80. The training process demonstrates that fairness feedback improves convergence, reduces buyer shortfalls, and narrows profit disparities between sellers. With its language-based critic, the framework scales naturally, and its extension to a large power distribution system with household prosumers illustrates its practical applicability. FairMarket-RL thus offers a scalable, equity-driven solution for autonomous trading in decentralized energy systems.