RLHFless: Serverless Computing for Efficient RLHF

📄 arXiv: 2602.22718 📥 PDF

作者: Rui Wei, Hanfei Yu, Shubham Jain, Yogarajan Sivakumar, Devesh Tiwari, Jian Li, Seung-Jong Park, Hao Wang

分类: cs.AI, cs.DC

发布日期: 2026-02-28

💡 一句话要点

提出RLHFless，利用Serverless计算高效训练RLHF，提升资源利用率并降低成本。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: RLHF Serverless计算 大型语言模型 强化学习 成本优化 资源管理 训练框架

📋 核心要点

  1. 传统RLHF框架依赖serverful基础设施，难以应对RLHF训练中细粒度的资源变动，导致资源浪费和效率低下。
  2. RLHFless利用serverless计算环境，动态适应资源需求，预计算共享前缀，并采用成本感知的Actor扩展策略。
  3. 实验表明，RLHFless相比现有技术，实现了高达1.35倍的加速和44.8%的成本降低，显著提升了训练效率。

📝 摘要（中文）

本文提出RLHFless，一个基于Serverless计算环境的可扩展同步RLHF训练框架，旨在解决传统serverful基础设施在RLHF训练中因细粒度资源变动而导致的资源浪费问题。RLHFless能够适应RLHF流程中动态的资源需求，通过预计算共享前缀避免重复计算，并采用成本感知的Actor扩展策略，考虑响应长度的变化，以寻找更低成本和更高速度的平衡点。此外，RLHFless还高效地分配工作负载，以减少函数内部的不平衡和空闲时间。在物理测试平台和大规模模拟集群上的实验表明，与最先进的基线相比，RLHFless实现了高达1.35倍的加速和44.8%的成本降低。

🔬 方法详解

问题定义：RLHF（Reinforcement Learning from Human Feedback）训练过程中，由于模型规模庞大和资源消耗高，对训练效率提出了巨大挑战。现有的RLHF框架依赖于serverful基础设施，无法有效应对RLHF pipeline中动态变化的资源需求，导致资源空闲和浪费，增加了训练成本。尤其是在同步RLHF训练中，各个组件之间的空闲时间会进一步加剧资源浪费。

核心思路：RLHFless的核心思路是利用serverless计算的弹性伸缩能力，动态地分配和释放资源，以适应RLHF训练过程中不断变化的资源需求。通过将RLHF pipeline中的各个组件部署为serverless函数，可以根据实际负载自动调整资源分配，从而避免资源浪费，提高资源利用率，并降低训练成本。

技术框架：RLHFless的整体架构基于serverless计算环境，将RLHF pipeline分解为多个独立的serverless函数，例如策略模型推理、奖励模型推理、策略更新等。这些函数之间通过消息队列进行通信，实现异步解耦。RLHFless还包括一个调度器，负责监控各个函数的负载，并根据负载情况动态地调整函数实例的数量。此外，RLHFless还引入了预计算共享前缀的机制，避免重复计算，进一步提高效率。

关键创新：RLHFless的关键创新在于将serverless计算引入RLHF训练，并针对RLHF的特点进行了优化。与传统的serverful框架相比，RLHFless能够更精细地管理资源，避免资源浪费。此外，RLHFless还提出了成本感知的Actor扩展策略，该策略考虑了响应长度的变化，能够在保证训练速度的同时，尽可能地降低成本。预计算共享前缀也是一个重要的优化手段，能够有效减少重复计算。

关键设计：RLHFless的关键设计包括：1) 基于事件驱动的serverless函数设计，每个函数负责完成特定的任务，并通过消息队列进行通信；2) 成本感知的Actor扩展策略，根据响应长度动态调整Actor的数量；3) 预计算共享前缀的机制，避免重复计算；4) 负载均衡策略，确保各个函数实例的负载均衡，避免出现瓶颈。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

RLHFless在物理测试平台和大规模模拟集群上的实验结果表明，与最先进的基线相比，RLHFless实现了高达1.35倍的加速和44.8%的成本降低。这些结果验证了RLHFless在提高RLHF训练效率和降低成本方面的有效性。成本降低主要归功于serverless计算的弹性伸缩能力和成本感知的Actor扩展策略。

🎯 应用场景

RLHFless可应用于各种需要利用人类反馈来对齐大型语言模型的场景，例如对话系统、文本生成、代码生成等。通过降低RLHF训练的成本和提高效率，RLHFless能够加速LLM的开发和部署，并促进LLM在更广泛领域的应用。该框架的serverless特性也使其易于部署和维护，降低了使用门槛。

📄 摘要（原文）

Reinforcement Learning from Human Feedback (RLHF) has been widely applied to Large Language Model (LLM) post-training to align model outputs with human preferences. Recent models, such as DeepSeek-R1, have also shown RLHF's potential to improve LLM reasoning on complex tasks. In RL, inference and training co-exist, creating dynamic resource demands throughout the workflow. Compared to traditional RL, RLHF further challenges training efficiency due to expanding model sizes and resource consumption. Several RLHF frameworks aim to balance flexible abstraction and efficient execution. However, they rely on serverful infrastructures, which struggle with fine-grained resource variability. As a result, during synchronous RLHF training, idle time between or within RL components often causes overhead and resource wastage.To address these issues, we present RLHFless, the first scalable training framework for synchronous RLHF, built on serverless computing environments. RLHFless adapts to dynamic resource demands throughout the RLHF pipeline, pre-computes shared prefixes to avoid repeated computation, and uses a cost-aware actor scaling strategy that accounts for response length variation to find sweet spots with lower cost and higher speed. In addition, RLHFless assigns workloads efficiently to reduce intra-function imbalance and idle time. Experiments on both physical testbeds and a large-scale simulated cluster show that RLHFless achieves up to 1.35x speedup and 44.8% cost reduction compared to the state-of-the-art baseline.