Fed-GRPO: Reward-Signal-Driven Federated Group Relative Policy Optimization

📄 arXiv: 2610.11502v1 📥 PDF

作者: Pengxin Guo, Shuang Zeng, Zonggen Li, Weiying Zheng, Mengting Liu, Liangqiong Qu

分类: cs.AI

发布日期: 2026-10-08

🔗 代码/项目: GITHUB

💡 一句话要点

提出Fed-GRPO以解决联邦学习中的隐私问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 联邦学习 强化学习 群体相对策略优化 隐私保护 模型压缩 通信效率 奖励信号

📋 核心要点

  1. 现有的GRPO方法依赖集中式数据访问，无法满足隐私和监管要求，限制了其实际应用。
  2. Fed-GRPO通过联邦学习框架，利用奖励信号进行本地训练和聚合，避免了数据共享。
  3. 实验结果显示，Fed-GRPO在数学推理任务中性能优于FedAvg，通信效率提高了32倍，支持高达621倍的压缩。

📝 摘要（中文）

大型语言模型（LLMs）在通过强化学习（RL）微调时展现出强大的推理能力，尤其是通过群体相对策略优化（GRPO）。然而，现有的GRPO方法假设可以集中访问训练数据，这在隐私或监管约束下并不成立。为此，本文提出了Fed-GRPO，一个联邦GRPO训练框架，通过不共享原始数据来解决隐私问题，利用GRPO训练过程中自然产生的奖励统计作为零成本信号来指导聚合、本地训练和通信。Fed-GRPO包含三种基于奖励信号的机制：信号加权聚合、全局奖励校准和自适应稀疏通信。大量数学推理任务的实验表明，Fed-GRPO在所有联邦方法中表现最佳，明显优于FedAvg，并接近集中训练性能，同时在带宽受限的情况下实现了高达621倍的压缩。

🔬 方法详解

问题定义：本文旨在解决现有GRPO方法在隐私和数据共享方面的局限性，特别是在联邦学习场景下，如何在不共享原始数据的情况下进行有效的模型训练。

核心思路：Fed-GRPO通过利用在GRPO训练过程中产生的奖励统计信息，作为指导聚合和本地训练的信号，确保各个客户端在不泄露数据的情况下进行有效的协作学习。

技术框架：Fed-GRPO的整体架构包括三个主要模块：信号加权聚合、全局奖励校准和自适应稀疏通信。信号加权聚合根据客户端的奖励标准差对其进行加权；全局奖励校准则根据本地与全局奖励的差距调整每个客户端的目标；自适应稀疏通信则根据客户端更新的信息量分配带宽。

关键创新：Fed-GRPO的主要创新在于引入了奖励信号驱动的机制，使得客户端能够在不共享数据的情况下，利用奖励信息进行有效的学习和通信，这与传统的集中式GRPO方法形成了鲜明对比。

关键设计：在设计中，信号加权聚合优先考虑学习信号强的客户端，确保更有效的模型更新；全局奖励校准通过调整目标引导客户端关注自身的相对弱点；自适应稀疏通信则根据每个客户端的更新信息量动态分配带宽，优化通信效率。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

实验结果表明，Fed-GRPO在数学推理任务中表现优异，超越了所有联邦学习方法，尤其是相比于FedAvg，通信量减少了32倍，并在带宽受限的情况下实现了高达621倍的模型压缩，且仅有轻微的准确度下降。

🎯 应用场景

该研究的潜在应用领域包括医疗健康、金融服务和智能交通等需要保护用户隐私的场景。通过Fed-GRPO，组织可以在不泄露敏感数据的情况下，进行有效的模型训练和推理，从而推动智能系统的安全性和可靠性。未来，Fed-GRPO可能在更多行业中得到应用，促进跨组织的协作与创新。

📄 摘要（原文）

Large Language Models (LLMs) have shown strong reasoning capabilities when fine-tuned with reinforcement learning (RL), particularly through Group Relative Policy Optimization (GRPO). However, existing GRPO methods assume centralized access to training data, which may not hold in practice due to privacy or regulatory constraints. To this end, we propose Fed-GRPO, a federated GRPO training framework that addresses these privacy constraints by enabling collaborative reasoning training without sharing raw data, which leverages the reward statistics naturally produced during GRPO training as zero-cost signals to guide aggregation, local training, and communication. Fed-GRPO contains three reward-signal-driven mechanisms: (i) \emph{signal-weighted aggregation} that weights clients by their reward standard deviation, prioritizing clients with stronger learning signals; (ii) \emph{global reward calibration} that re-weights per-prompt objectives based on the local-global reward gap, steering each client toward its relative weaknesses; and (iii) \emph{adaptive sparse communication} that allocates bandwidth based on the informativeness of each client's update. Extensive experiments on mathematical reasoning tasks demonstrate that Fed-GRPO achieves the best performance among all federated methods, clearly outperforms FedAvg and approaches centralized training performance, while losslessly reducing communication by $32\times$ and supporting up to $621\times$ compression under tight bandwidth budgets with only graceful accuracy degradation. Our code is available at https://github.com/HKU-HealthAI/Fed-GRPO.