RLHFless: Serverless Computing for Efficient RLHF

📄 arXiv: 2602.22718v1 📥 PDF

作者: Rui Wei, Hanfei Yu, Shubham Jain, Yogarajan Sivakumar, Devesh Tiwari, Jian Li, Seung-Jong Park, Hao Wang

分类: cs.AI, cs.DC

发布日期: 2026-02-26

💡 一句话要点

提出RLHFless，利用Serverless计算高效训练RLHF，提升资源利用率并降低成本。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: RLHF Serverless计算 大型语言模型 强化学习 成本优化

📋 核心要点

  1. 现有RLHF框架依赖于serverful基础设施，难以应对细粒度的资源变化，导致同步RLHF训练中出现空闲时间和资源浪费。
  2. RLHFless构建于serverless计算环境，通过动态资源分配、共享前缀预计算和成本感知的Actor扩展策略来优化资源利用率。
  3. 实验结果表明，RLHFless在速度上提升高达1.35倍，成本降低高达44.8%，显著优于现有技术水平。

📝 摘要（中文）

本文提出RLHFless，一个基于Serverless计算环境的可扩展同步RLHF训练框架。RLHFless能够适应RLHF流程中动态的资源需求，预计算共享前缀以避免重复计算，并采用一种成本感知的Actor扩展策略，该策略考虑了响应长度的变化，以找到更低成本和更高速度的最佳平衡点。此外，RLHFless有效地分配工作负载，以减少函数内部的不平衡和空闲时间。在物理测试平台和大规模模拟集群上的实验表明，与最先进的基线相比，RLHFless实现了高达1.35倍的加速和44.8%的成本降低。

🔬 方法详解

问题定义：RLHF（Reinforcement Learning from Human Feedback）训练过程中，推理和训练同时进行，导致资源需求动态变化。现有RLHF框架依赖于serverful基础设施，无法有效应对这种细粒度的资源需求变化，造成资源浪费和效率低下。尤其是在同步RLHF训练中，各个RL组件之间或组件内部的空闲时间会带来额外的开销。

核心思路：RLHFless的核心思路是利用serverless计算的弹性伸缩能力，根据RLHF pipeline中各个阶段的实际资源需求动态分配计算资源，避免资源闲置。同时，通过预计算共享前缀减少重复计算，并设计成本感知的actor扩展策略，在速度和成本之间找到最佳平衡点。

技术框架：RLHFless的整体架构基于serverless计算环境，主要包含以下几个模块：1) Actor Pool：负责生成模型输出，并根据成本感知的策略进行动态扩展。2) Reward Model：评估模型输出的质量，并给出奖励信号。3) Policy Optimization：利用奖励信号更新策略模型。4) Workload Dispatcher：负责将工作负载高效地分配给各个serverless函数，减少函数内部的不平衡和空闲时间。

关键创新：RLHFless的关键创新在于：1) Serverless架构：首次将serverless计算应用于同步RLHF训练，充分利用其弹性伸缩的优势。2) 成本感知的Actor扩展策略：考虑了响应长度的变化，在速度和成本之间进行权衡。3) 高效的工作负载分配：减少了函数内部的不平衡和空闲时间，提高了资源利用率。

关键设计：RLHFless的关键设计包括：1) 共享前缀预计算：通过缓存和重用共享前缀，减少了重复计算，提高了效率。2) 成本模型：用于评估不同Actor配置的成本，并指导Actor扩展策略。成本模型需要考虑计算资源的价格、函数执行时间以及响应长度等因素。3) 负载均衡策略：用于将工作负载均匀地分配给各个serverless函数，避免出现负载不均衡的情况。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，在物理测试平台和大规模模拟集群上，RLHFless相比于最先进的基线，实现了高达1.35倍的加速和44.8%的成本降低。这些结果验证了RLHFless在提高RLHF训练效率和降低成本方面的有效性。尤其是在大规模数据集和复杂模型上，RLHFless的优势更加明显。

🎯 应用场景

RLHFless可应用于各种需要利用人类反馈来对齐大型语言模型的场景，例如提升LLM在复杂任务上的推理能力、生成更符合人类偏好的文本内容等。该框架的serverless特性使其能够灵活地部署在云平台上，降低了训练成本，并加速了RLHF的迭代过程。未来，RLHFless有望推动RLHF技术在更多领域的应用。

📄 摘要（原文）

Reinforcement Learning from Human Feedback (RLHF) has been widely applied to Large Language Model (LLM) post-training to align model outputs with human preferences. Recent models, such as DeepSeek-R1, have also shown RLHF's potential to improve LLM reasoning on complex tasks. In RL, inference and training co-exist, creating dynamic resource demands throughout the workflow. Compared to traditional RL, RLHF further challenges training efficiency due to expanding model sizes and resource consumption. Several RLHF frameworks aim to balance flexible abstraction and efficient execution. However, they rely on serverful infrastructures, which struggle with fine-grained resource variability. As a result, during synchronous RLHF training, idle time between or within RL components often causes overhead and resource wastage. To address these issues, we present RLHFless, the first scalable training framework for synchronous RLHF, built on serverless computing environments. RLHFless adapts to dynamic resource demands throughout the RLHF pipeline, pre-computes shared prefixes to avoid repeated computation, and uses a cost-aware actor scaling strategy that accounts for response length variation to find sweet spots with lower cost and higher speed. In addition, RLHFless assigns workloads efficiently to reduce intra-function imbalance and idle time. Experiments on both physical testbeds and a large-scale simulated cluster show that RLHFless achieves up to 1.35x speedup and 44.8% cost reduction compared to the state-of-the-art baseline.