Regularised RL improves sim-to-real transfer

📄 arXiv: 2610.32855v1 📥 PDF

作者: Danilo Vucetic, Mohamad H. Danesh, Florence Clerc, Hsiu-Chin Lin, Jonathan Tremblay

分类: cs.LG, cs.RO

发布日期: 2026-10-23

备注: 9 pages of main-body content, with supporting details in the appendices. Under submission

💡 一句话要点

提出正则化强化学习以改善仿真到现实的转移问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 正则化强化学习 仿真到现实 鲁棒性 软mellowmax 策略优化 机器人控制 动态环境

📋 核心要点

  1. 现有的弱正则化算法在仿真到现实的转移中表现不佳，难以保证策略的鲁棒性。
  2. 提出了一种新型的正则化强化学习算法SMM-AC，基于软mellowmax值函数，旨在提高策略的鲁棒性。
  3. 实验结果表明，SMM-AC在真实机器人上实现了更高的回报，并对环境变化表现出更强的鲁棒性。

📝 摘要（中文）

正则化强化学习（RL）具有可证明的鲁棒性保证，能够缓解从仿真到机器人（sim-to-real）策略转移的挑战。然而，像近端策略优化（PPO）这样的弱正则化算法仍然是仿真到现实管道中的主流选择，而正则化对转移的实际益处尚未得到充分表征。本文研究了常用RL算法在仿真到现实中的表现，旨在表征正则化对机器人性能的影响。为此，我们提出了一种基于软mellowmax值函数的新型正则化RL算法——软mellowmax演员-评论家（SMM-AC），该算法具有强鲁棒性保证。在MuJoCo连续控制基准上，SMM-AC与软演员-评论家（SAC）等基线算法具有竞争力。在真实机器人上，SMM-AC实现了更高的回报，并在观察、环境和动态扰动下表现出更强的鲁棒性。这些结果表明，正则化RL通过提高对仿真到现实差距和变化的鲁棒性，改善了现实世界中的策略部署。

🔬 方法详解

问题定义：本文旨在解决从仿真到现实（sim-to-real）策略转移中的鲁棒性问题。现有的弱正则化算法如PPO在应对现实环境变化时表现不足，导致策略在真实场景中的性能下降。

核心思路：提出的SMM-AC算法通过引入正则化机制，利用软mellowmax值函数来增强策略的鲁棒性，从而提高在真实环境中的表现。该设计旨在减少仿真与现实之间的差距。

技术框架：SMM-AC算法的整体架构包括策略网络和价值网络，采用软mellowmax值函数进行策略评估。算法通过强化学习框架进行训练，结合正则化项以提升鲁棒性。

关键创新：SMM-AC的核心创新在于其正则化机制与软mellowmax值函数的结合，这一设计使得算法在面对环境扰动时能够保持更高的稳定性和性能，与传统算法相比具有显著的鲁棒性提升。

关键设计：在算法实现中，关键参数设置包括正则化强度、学习率等，损失函数设计上引入了正则化项，以确保策略在训练过程中的稳定性和有效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，SMM-AC在MuJoCo基准测试中与SAC等基线算法竞争力相当，而在真实机器人实验中，SMM-AC实现了更高的回报，并在面对观察、环境和动态扰动时表现出更强的鲁棒性，显著提升了策略的实际应用效果。

🎯 应用场景

该研究的潜在应用领域包括自主机器人、无人驾驶汽车和工业自动化等。通过提高策略在真实环境中的鲁棒性，SMM-AC能够有效应对动态变化的现实条件，提升机器人在复杂环境中的操作能力，具有重要的实际价值和未来影响。

📄 摘要（原文）

Regularised reinforcement learning (RL) has provable robustness guarantees that should ease the transfer of policies from simulation to robots, known as sim-to-real. Yet, weakly regularised algorithms like Proximal Policy Optimisation (PPO) remain the de facto choice in sim-to-real pipelines, while the practical benefits of regularisation for transfer remain poorly characterised. In this work, we study the sim-to-real performance of commonly used RL algorithms, with the aim of characterising the effects of regularisation on robotic performance. To that end, we derive Soft MellowMax Actor-Critic (SMM-AC), a novel regularised RL algorithm based on the soft mellowmax value function, which carries strong robustness guarantees. On MuJoCo continuous control benchmarks, SMM-AC is competitive with baselines like Soft Actor-Critic (SAC). On real robots, SMM-AC achieves higher return, while exhibiting greater robustness to perturbations in observations, the environment, and dynamics than baselines. Together, these results demonstrate that regularised RL improves real-world policy deployment through better robustness to the sim-to-real gap, and changing real-world conditions.