G-Core: A Simple, Scalable and Balanced RLHF Trainer

📄 arXiv: 2507.22789v2 📥 PDF

作者: Junyu Wu, Weiming Chang, Xiaotao Liu, Guanyou He, Haoqiang Hong, Boqi Liu, Hongtao Tian, Tao Yang, Yunsheng Shi, Feng Lin, Ting Yao

分类: cs.LG, cs.AI

发布日期: 2025-07-30 (更新: 2025-07-31)

备注: I haven't received company approval yet, and I uploaded it by mistake

💡 一句话要点

G-Core：一种简单、可扩展且均衡的RLHF训练框架，适用于大规模用户场景。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: RLHF训练 强化学习 大规模模型 并行计算 动态资源分配

📋 核心要点

  1. 现有RLHF训练系统在扩展到多模态和扩散模型，以及适应动态工作负载时面临挑战，例如控制器瓶颈和资源利用率低。
  2. G-Core通过并行控制器编程模型实现灵活高效的RLHF流程编排，并采用动态资源放置方案优化硬件利用率。
  3. G-Core成功训练了支持微信产品功能的模型，服务大规模用户，验证了其在实际场景中的有效性和鲁棒性。

📝 摘要（中文）

本文提出了一种简单、可扩展且均衡的RLHF训练框架G-Core，旨在解决现有RLHF训练系统在扩展到多模态和扩散模型工作流程以及适应动态工作负载时面临的挑战。现有方法在处理复杂的RLHF流程时，尤其是在涉及动态采样或生成式奖励建模的场景中，可能在控制器可扩展性、灵活的资源放置和高效的编排方面遇到限制。G-Core引入了一种并行控制器编程模型，实现了复杂RLHF工作流程的灵活高效编排，避免了单点中心化控制器的瓶颈。此外，我们提出了一种动态放置方案，可以自适应地划分资源和调度工作负载，显著减少硬件空闲时间并提高利用率，即使在高度可变的训练条件下也是如此。G-Core已成功训练了支持微信产品功能的模型，服务于大规模用户群，证明了其在实际场景中的有效性和鲁棒性。结果表明，G-Core推进了RLHF训练的最新技术水平，为未来大规模、人类对齐模型的研发和部署奠定了坚实的基础。

🔬 方法详解

问题定义：现有RLHF训练系统在扩展性和资源利用率方面存在瓶颈。具体来说，单点中心化控制器限制了复杂工作流程的编排效率，静态资源分配导致硬件空闲时间过长，尤其是在动态采样或生成式奖励建模等场景下。这些问题阻碍了RLHF在多模态和扩散模型等领域的应用。

核心思路：G-Core的核心思路是通过并行化控制器和动态资源放置来解决扩展性和资源利用率问题。并行控制器编程模型允许将复杂的RLHF流程分解为多个并行任务，从而避免了单点瓶颈。动态资源放置方案则根据实际工作负载自适应地分配资源，减少硬件空闲时间。

技术框架：G-Core的整体架构包含以下主要模块：1) 并行控制器：负责任务调度和资源管理；2) 动态放置模块：根据工作负载动态调整资源分配；3) RLHF训练模块：执行具体的RLHF训练任务。整个流程如下：首先，并行控制器接收到训练任务后，将其分解为多个子任务。然后，动态放置模块根据子任务的需求分配资源。最后，RLHF训练模块利用分配的资源执行训练，并将结果反馈给并行控制器。

关键创新：G-Core的关键创新在于其并行控制器编程模型和动态资源放置方案。并行控制器编程模型允许灵活地编排复杂的RLHF工作流程，避免了单点瓶颈。动态资源放置方案则可以根据实际工作负载自适应地分配资源，显著提高硬件利用率。与现有方法相比，G-Core能够更好地适应动态和复杂的工作负载。

关键设计：G-Core的并行控制器采用基于消息传递的通信机制，实现控制器之间的协同工作。动态放置模块使用强化学习算法来预测未来的资源需求，并根据预测结果调整资源分配。RLHF训练模块可以支持多种不同的RL算法，例如PPO和SAC。具体的参数设置和网络结构取决于具体的应用场景。

🖼️ 关键图片

img_0

📊 实验亮点

G-Core已成功应用于微信产品，服务于大规模用户群，证明了其在实际场景中的有效性和鲁棒性。实验结果表明，G-Core能够显著提高硬件利用率，并加速RLHF训练过程。具体性能数据未知，但论文强调了其在实际部署中的成功。

🎯 应用场景

G-Core适用于需要大规模RLHF训练的各种场景，例如大型语言模型、多模态模型和扩散模型的训练。其在微信产品中的成功应用表明，G-Core可以有效地提升用户体验，并为其他类似应用提供参考。

📄 摘要（原文）

Reinforcement Learning from Human Feedback (RLHF) has become an increasingly popular paradigm for training large language models (LLMs) and diffusion models. While existing RLHF training systems have enabled significant progress, they often face challenges in scaling to multi-modal and diffusion workflows and adapting to dynamic workloads. In particular, current approaches may encounter limitations in controller scalability, flexible resource placement, and efficient orchestration when handling complex RLHF pipelines, especially in scenarios involving dynamic sampling or generative reward modeling. In this paper, we present \textbf{G-Core}, a simple, scalable, and balanced RLHF training framework designed to address these challenges. G-Core introduces a parallel controller programming model, enabling flexible and efficient orchestration of complex RLHF workflows without the bottlenecks of a single centralized controller. Furthermore, we propose a dynamic placement schema that adaptively partitions resources and schedules workloads, significantly reducing hardware idle time and improving utilization, even under highly variable training conditions. G-Core has successfully trained models that support WeChat product features serving a large-scale user base, demonstrating its effectiveness and robustness in real-world scenarios. Our results show that G-Core advances the state of the art in RLHF training, providing a solid foundation for future research and deployment of large-scale, human-aligned models.