Offline Reinforcement Learning with OOD State Correction and OOD Action Suppression

📄 arXiv: 2410.19400v4 📥 PDF

作者: Yixiu Mao, Qi Wang, Chen Chen, Yun Qu, Xiangyang Ji

分类: cs.LG, cs.AI

发布日期: 2024-10-25 (更新: 2024-11-01)

备注: Accepted to NeurIPS 2024

💡 一句话要点

提出SCAS，统一OOD状态校正与OOD动作抑制，提升离线强化学习性能

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 离线强化学习 分布外状态 分布外动作 状态校正 动作抑制 价值函数 策略泛化

📋 核心要点

  1. 现有离线强化学习方法主要关注OOD动作问题，忽略了OOD状态对性能的影响，导致智能体在未知状态下行为失控。
  2. SCAS方法的核心在于同时进行价值感知的OOD状态校正和OOD动作抑制，将智能体引导至高价值的分布内状态。
  3. 实验表明，SCAS在标准离线RL基准测试中表现出色，无需额外调参，并对环境扰动具有更强的鲁棒性。

📝 摘要（中文）

在离线强化学习（RL）中，解决分布外（OOD）动作问题一直是研究重点。然而，我们认为存在一个同样会损害性能但尚未被充分探索的OOD状态问题。当智能体在测试阶段遇到离线数据集中不存在的状态时，就会出现这种问题，导致不可控的行为和性能下降。为此，我们提出SCAS，这是一种简单而有效的方法，它统一了离线RL中的OOD状态校正和OOD动作抑制。从技术上讲，SCAS实现了价值感知的OOD状态校正，能够将智能体从OOD状态校正到高价值的分布内状态。理论和实验结果表明，SCAS也表现出抑制OOD动作的效果。在标准离线RL基准测试中，SCAS无需额外的超参数调整即可实现出色的性能。此外，受益于其OOD状态校正功能，SCAS表现出更强的环境扰动鲁棒性。

🔬 方法详解

问题定义：离线强化学习中，智能体在部署时可能遇到训练数据集中未包含的状态（OOD状态），导致策略泛化能力下降，性能受损。现有方法主要关注OOD动作问题，即避免选择训练数据中未出现的动作，但忽略了OOD状态带来的挑战。

核心思路：SCAS的核心思路是同时解决OOD状态和OOD动作问题。通过价值感知的OOD状态校正，将智能体从OOD状态引导至高价值的分布内状态，从而避免智能体在未知状态下做出错误决策。同时，SCAS也具备抑制OOD动作的能力，进一步提升策略的安全性。

技术框架：SCAS方法包含两个主要部分：OOD状态校正和OOD动作抑制。OOD状态校正模块负责识别OOD状态，并根据价值函数将智能体引导至相似的、高价值的分布内状态。OOD动作抑制模块则负责限制智能体选择训练数据中未出现的动作，避免探索未知的行为空间。这两个模块协同工作，共同提升离线强化学习的性能。

关键创新：SCAS的关键创新在于统一了OOD状态校正和OOD动作抑制。与现有方法只关注OOD动作不同，SCAS同时考虑了OOD状态的影响，并通过价值感知的状态校正，实现了更有效的策略泛化。这种统一的处理方式使得SCAS在复杂环境中表现出更强的鲁棒性。

关键设计：SCAS使用价值函数来评估状态的价值，并利用价值函数的梯度信息来指导状态校正的方向。具体来说，SCAS通过最小化当前状态与校正后状态之间的距离，同时最大化校正后状态的价值函数值，来实现价值感知的状态校正。此外，SCAS还采用了一种简单的动作抑制策略，即限制智能体选择与训练数据集中动作分布差异过大的动作。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

SCAS在标准离线RL基准测试中取得了优异的性能，无需额外的超参数调整。实验结果表明，SCAS在多个数据集上超越了现有的SOTA方法，并且对环境扰动具有更强的鲁棒性。这表明SCAS的OOD状态校正策略能够有效提升智能体在复杂环境中的泛化能力。

🎯 应用场景

SCAS方法可应用于各种需要离线强化学习的场景，例如机器人控制、自动驾驶、推荐系统等。在这些场景中，智能体需要在有限的数据集上学习策略，并能够在真实环境中安全可靠地运行。SCAS的OOD状态校正能力可以有效提升智能体在未知环境中的适应性，降低部署风险，具有重要的实际应用价值。

📄 摘要（原文）

In offline reinforcement learning (RL), addressing the out-of-distribution (OOD) action issue has been a focus, but we argue that there exists an OOD state issue that also impairs performance yet has been underexplored. Such an issue describes the scenario when the agent encounters states out of the offline dataset during the test phase, leading to uncontrolled behavior and performance degradation. To this end, we propose SCAS, a simple yet effective approach that unifies OOD state correction and OOD action suppression in offline RL. Technically, SCAS achieves value-aware OOD state correction, capable of correcting the agent from OOD states to high-value in-distribution states. Theoretical and empirical results show that SCAS also exhibits the effect of suppressing OOD actions. On standard offline RL benchmarks, SCAS achieves excellent performance without additional hyperparameter tuning. Moreover, benefiting from its OOD state correction feature, SCAS demonstrates enhanced robustness against environmental perturbations.