FlashSAC: Fast and Stable Off-Policy Reinforcement Learning for High-Dimensional Robot Control

📄 arXiv: 2604.04539 📥 PDF

作者: Donghu Kim, Youngdo Lee, Minho Park, Kinam Kim, I Made Aswin Nahendra, Takuma Seno, Sehee Min, Daniel Palenicek, Florian Vogt, Danica Kragic, Jan Peters, Jaegul Choo, Hojoon Lee

分类: cs.LG, cs.RO

发布日期: 2026-04-07

💡 一句话要点

FlashSAC：面向高维机器人控制的快速稳定离线强化学习算法

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 离线强化学习 机器人控制 高维控制 软演员-评论家 缩放规律 稳定性 模拟到真实

📋 核心要点

  1. 在线强化学习方法在高维空间中策略评估受限，离线强化学习虽可利用更广数据分布，但易出现收敛慢和不稳定问题。
  2. FlashSAC通过减少梯度更新次数，增大模型规模和提高数据吞吐量，并显式限制权重、特征和梯度范数来解决离线强化学习的稳定性问题。
  3. 实验表明，FlashSAC在多个机器人控制任务中优于PPO等基线方法，尤其在高维任务和模拟到真实迁移中表现突出。

📝 摘要（中文）

强化学习（RL）是机器人控制的核心方法，尤其是在缺乏专家演示数据时。近端策略优化（PPO）等在线方法因其稳定性而被广泛使用，但它们对狭窄的在线数据分布的依赖限制了在高维状态和动作空间中的精确策略评估。离线方法可以通过从更广泛的状态-动作分布中学习来克服这一限制，但由于在多样化数据上拟合价值函数需要多次梯度更新，导致评论家误差通过自举累积，因此存在收敛缓慢和不稳定问题。我们提出了FlashSAC，一种基于软演员-评论家（Soft Actor-Critic）的快速稳定的离线强化学习算法。受监督学习中观察到的缩放规律的启发，FlashSAC显著减少了梯度更新次数，同时通过更大的模型和更高的数据吞吐量进行补偿。为了在增加的规模下保持稳定性，FlashSAC显式地限制了权重、特征和梯度范数，从而抑制了评论家误差的累积。在10个模拟器中的60多个任务中，FlashSAC在最终性能和训练效率方面始终优于PPO和强大的离线基线，尤其是在灵巧操作等高维任务上。在模拟到真实的类人机器人运动中，FlashSAC将训练时间从数小时缩短到数分钟，证明了离线强化学习在模拟到真实迁移中的潜力。

🔬 方法详解

问题定义：论文旨在解决高维机器人控制中离线强化学习训练不稳定和效率低下的问题。现有的离线强化学习方法，如SAC，在处理高维状态和动作空间时，由于需要大量的梯度更新来拟合价值函数，容易导致评论家误差累积，从而影响策略的稳定性和收敛速度。

核心思路：FlashSAC的核心思路是借鉴监督学习中的缩放规律，通过减少梯度更新次数，同时增大模型规模和提高数据吞吐量来加速训练过程。此外，为了解决离线学习中的稳定性问题，FlashSAC显式地限制了权重、特征和梯度范数，从而抑制评论家误差的累积。

技术框架：FlashSAC基于Soft Actor-Critic（SAC）框架。整体流程包括：1）从离线数据集中采样数据；2）使用较大的Actor和Critic网络进行训练，但减少梯度更新的频率；3）在训练过程中，对权重、特征和梯度范数进行显式约束，以防止训练不稳定；4）使用训练好的Actor网络进行策略评估和部署。

关键创新：FlashSAC的关键创新在于将监督学习中的缩放规律应用于离线强化学习，通过减少梯度更新次数并增大模型规模来提高训练效率。同时，通过显式约束权重、特征和梯度范数来解决离线学习中的稳定性问题。与传统的SAC相比，FlashSAC在保证稳定性的前提下，显著提高了训练速度和最终性能。

关键设计：FlashSAC的关键设计包括：1）使用更大的Actor和Critic网络，例如增加网络层数和神经元数量；2）减少梯度更新的频率，例如每隔多个batch才进行一次梯度更新；3）使用权重裁剪（weight clipping）、特征归一化（feature normalization）和梯度裁剪（gradient clipping）等技术来显式约束权重、特征和梯度范数；4）损失函数与SAC类似，但可能需要调整学习率和正则化系数以适应更大的模型和更少的梯度更新。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

FlashSAC在多个机器人控制任务中取得了显著的性能提升。例如，在灵巧操作任务中，FlashSAC的性能明显优于PPO和SAC等基线方法。在模拟到真实的类人机器人运动任务中，FlashSAC将训练时间从数小时缩短到数分钟，同时保持了较高的运动性能。实验结果表明，FlashSAC在训练效率和最终性能方面都优于现有的离线强化学习算法。

🎯 应用场景

FlashSAC在机器人控制领域具有广泛的应用前景，尤其是在高维复杂任务中，如灵巧操作、四足机器人运动和人形机器人控制。该算法可以加速机器人学习过程，降低训练成本，并提高机器人在真实环境中的适应能力。此外，FlashSAC在模拟到真实迁移学习中也具有重要价值，可以缩短机器人在真实环境中部署的时间。

📄 摘要（原文）

Reinforcement learning (RL) is a core approach for robot control when expert demonstrations are unavailable. On-policy methods such as Proximal Policy Optimization (PPO) are widely used for their stability, but their reliance on narrowly distributed on-policy data limits accurate policy evaluation in high-dimensional state and action spaces. Off-policy methods can overcome this limitation by learning from a broader state-action distribution, yet suffer from slow convergence and instability, as fitting a value function over diverse data requires many gradient updates, causing critic errors to accumulate through bootstrapping. We present FlashSAC, a fast and stable off-policy RL algorithm built on Soft Actor-Critic. Motivated by scaling laws observed in supervised learning, FlashSAC sharply reduces gradient updates while compensating with larger models and higher data throughput. To maintain stability at increased scale, FlashSAC explicitly bounds weight, feature, and gradient norms, curbing critic error accumulation. Across over 60 tasks in 10 simulators, FlashSAC consistently outperforms PPO and strong off-policy baselines in both final performance and training efficiency, with the largest gains on high-dimensional tasks such as dexterous manipulation. In sim-to-real humanoid locomotion, FlashSAC reduces training time from hours to minutes, demonstrating the promise of off-policy RL for sim-to-real transfer.