LiRA: Light-Robust Adversary for Model-based Reinforcement Learning in Real World
作者: Taisuke Kobayashi
分类: cs.RO
发布日期: 2024-09-29 (更新: 2025-05-06)
备注: 21 pages, 17 figures (accepted in Robotics and Autonomous Systems)
期刊: Robotics and Autonomous Systems, 2025
DOI: 10.1016/j.robot.2025.105057
💡 一句话要点
LiRA：一种轻量鲁棒的对抗学习框架，用于真实世界中基于模型的强化学习
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)
关键词: 强化学习 对抗学习 鲁棒性 模型学习 机器人控制
📋 核心要点
- 现实世界机器人应用中，不可观测扰动导致意外情况，需要提升策略的鲁棒性。
- 论文提出LiRA框架，通过变分推理重构对抗学习，并引入“轻量鲁棒性”约束，自动平衡鲁棒性和性能。
- 数值模拟验证了LiRA的有效性，并在四足机器人步态控制任务上，仅用少量真实数据成功学习。
📝 摘要（中文）
基于模型的强化学习因其高样本效率而备受关注，并有望应用于现实世界的机器人应用。在现实世界中，由于不可观测的扰动可能导致意外情况，因此机器人策略不仅应提高控制性能，还应提高鲁棒性。对抗学习是提高鲁棒性的有效方法，但过度的对抗会增加故障风险，并使控制性能过于保守。因此，本研究提出了一种新的对抗学习框架，以适度地提高强化学习的鲁棒性，而不会过于保守。为此，首先使用变分推理重新推导了对抗学习。此外，利用轻量鲁棒性作为约束，允许在可接受的性能下降范围内最大化鲁棒性。因此，所提出的框架LiRA可以自动调整对抗水平，平衡鲁棒性和保守性。数值模拟证实了LiRA的预期行为。此外，LiRA成功地仅使用不到两小时的真实世界数据学习了四足机器人的力反应步态控制。
🔬 方法详解
问题定义：在真实世界的机器人强化学习中，由于存在未知的、不可观测的扰动，传统的基于模型的强化学习方法难以保证控制策略的鲁棒性。简单的对抗学习虽然可以提升鲁棒性，但过强的对抗可能导致策略过于保守，牺牲控制性能，甚至出现故障。因此，需要在鲁棒性和性能之间进行权衡。
核心思路：论文的核心思路是提出一种“轻量鲁棒性”的概念，即在可接受的性能损失范围内，尽可能地提升策略的鲁棒性。通过将鲁棒性作为优化目标，并对性能损失进行约束，从而实现鲁棒性和性能之间的平衡。同时，利用变分推理来重新推导对抗学习，使得对抗水平可以自动调整。
技术框架：LiRA框架主要包含以下几个模块：1) 基于模型的强化学习模块，用于学习环境模型和控制策略；2) 对抗学习模块，用于生成对抗样本，提升策略的鲁棒性；3) 变分推理模块，用于自动调整对抗水平；4) 轻量鲁棒性约束模块，用于限制性能损失。整体流程是：首先，基于模型的强化学习模块学习初始策略；然后，对抗学习模块生成对抗样本，并利用变分推理模块自动调整对抗水平；接着，利用轻量鲁棒性约束模块对性能损失进行约束，并更新策略；最后，重复以上步骤，直到策略收敛。
关键创新：LiRA的关键创新在于：1) 提出了“轻量鲁棒性”的概念，为鲁棒性和性能的权衡提供了一种新的思路；2) 利用变分推理来自动调整对抗水平，避免了手动调整的繁琐；3) 将鲁棒性作为优化目标，并对性能损失进行约束，从而实现了鲁棒性和性能之间的平衡。
关键设计：论文中，对抗学习模块使用高斯噪声作为对抗扰动，噪声的方差由变分推理模块自动调整。轻量鲁棒性约束模块使用KL散度来衡量策略在对抗样本和原始样本上的差异，并将其作为性能损失的度量。损失函数由三部分组成：强化学习的奖励函数、对抗学习的对抗损失函数和轻量鲁棒性约束的KL散度损失函数。这三个损失函数的权重需要根据具体任务进行调整。
🖼️ 关键图片
📊 实验亮点
LiRA在数值模拟和四足机器人步态控制任务上进行了验证。在数值模拟中，LiRA能够自动调整对抗水平，平衡鲁棒性和性能。在四足机器人步态控制任务中，仅使用不到两小时的真实世界数据，LiRA就成功学习了力反应步态控制，表明其具有很高的样本效率和鲁棒性。
🎯 应用场景
LiRA框架可应用于各种需要高鲁棒性的机器人控制任务，例如无人驾驶、自主导航、工业机器人等。通过提升机器人对未知扰动的适应能力，可以提高机器人在复杂环境中的稳定性和可靠性，降低故障风险，具有重要的实际应用价值和广阔的应用前景。
📄 摘要（原文）
Model-based reinforcement learning has attracted much attention due to its high sample efficiency and is expected to be applied to real-world robotic applications. In the real world, as unobservable disturbances can lead to unexpected situations, robot policies should be taken to improve not only control performance but also robustness. Adversarial learning is an effective way to improve robustness, but excessive adversary would increase the risk of malfunction, and make the control performance too conservative. Therefore, this study addresses a new adversarial learning framework to make reinforcement learning robust moderately and not conservative too much. To this end, the adversarial learning is first rederived with variational inference. In addition, \textit{light robustness}, which allows for maximizing robustness within an acceptable performance degradation, is utilized as a constraint. As a result, the proposed framework, so-called LiRA, can automatically adjust adversary level, balancing robustness and conservativeness. The expected behaviors of LiRA are confirmed in numerical simulations. In addition, LiRA succeeds in learning a force-reactive gait control of a quadrupedal robot only with real-world data collected less than two hours.