Offline Hierarchical Reinforcement Learning via Inverse Optimization
作者: Carolin Schmidt, Daniele Gammelli, James Harrison, Marco Pavone, Filipe Rodrigues
分类: cs.LG, eess.SY, math.OC
发布日期: 2024-10-10 (更新: 2025-03-18)
💡 一句话要点
提出OHIO框架，通过逆优化解决离线分层强化学习中的高层动作推断难题。
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 离线强化学习 分层强化学习 逆优化 机器人控制 网络优化
📋 核心要点
- 离线分层强化学习面临高层动作不可观测和数据集策略结构不匹配的挑战，传统方法难以有效利用离线数据。
- OHIO框架通过逆优化恢复高层动作，构建适用于离线训练的数据集，从而实现分层策略的有效学习。
- 实验表明，OHIO在机器人和网络优化问题上显著优于端到端RL方法，并提升了策略的鲁棒性。
📝 摘要（中文）
分层策略在许多序列决策问题中表现出色，例如高维动作空间、长时程规划和稀疏奖励环境。然而，从静态离线数据集中学习分层策略面临巨大挑战。关键在于，高层策略采取的动作在分层控制器中可能无法直接观察到，并且离线数据集可能使用不同的策略结构生成，这阻碍了标准离线学习算法的使用。本文提出了OHIO：一个用于离线强化学习(RL)分层策略的框架。我们的框架利用策略结构的知识来解决 extit{逆问题}，恢复可能生成观察到的数据的不可观察的高层动作。这种方法构建了一个适用于现成的离线训练的数据集。我们在机器人和网络优化问题上展示了我们的框架，并表明它大大优于端到端RL方法并提高了鲁棒性。我们研究了框架的各种实例化，包括直接部署离线训练的策略以及执行在线微调。
🔬 方法详解
问题定义：论文旨在解决离线分层强化学习中高层策略动作不可观测的问题。现有的离线强化学习算法通常假设可以访问完整的状态-动作轨迹，但在分层强化学习中，高层策略的动作往往是隐式的，无法直接从离线数据集中获取。此外，离线数据集的生成策略可能与目标分层策略的结构不同，导致直接应用现有算法效果不佳。
核心思路：OHIO的核心思路是通过逆优化来推断生成观测数据的最可能的高层动作。具体来说，给定一个分层策略结构和离线数据集，OHIO尝试找到一组高层动作，使得在该分层策略下生成观测数据的概率最大。通过解决这个逆问题，OHIO可以构建一个包含完整状态-动作轨迹的数据集，从而可以使用标准的离线强化学习算法进行训练。
技术框架：OHIO框架主要包含以下几个步骤：1) 定义分层策略结构：明确高层策略和低层策略的动作空间和状态空间。2) 逆优化：使用离线数据集和分层策略结构，通过优化算法（如梯度下降）推断生成观测数据的最可能的高层动作。3) 数据集构建：将推断出的高层动作与观测到的状态和低层动作组合，构建一个完整的数据集。4) 离线训练：使用构建的数据集，采用标准的离线强化学习算法（如Behavior Cloning, CQL等）训练分层策略。
关键创新：OHIO的关键创新在于将逆优化应用于离线分层强化学习，从而解决了高层动作不可观测的问题。与传统的端到端离线强化学习方法相比，OHIO利用了分层策略结构的先验知识，能够更有效地利用离线数据，学习到更优的分层策略。
关键设计：逆优化过程中的目标函数通常是观测数据在给定高层动作和分层策略下的似然函数。优化算法可以选择梯度下降或更高级的优化方法。为了提高逆优化的效率和稳定性，可以采用正则化技术，例如对高层动作的幅度进行约束。此外，高层策略和低层策略的网络结构和损失函数可以根据具体的任务进行设计和调整。
🖼️ 关键图片
📊 实验亮点
实验结果表明，OHIO在机器人和网络优化问题上显著优于端到端离线强化学习方法。例如，在机器人操作任务中，OHIO能够成功学习到复杂的操作序列，而端到端方法则难以收敛。此外，OHIO还表现出更强的鲁棒性，能够适应不同的环境和任务变化。具体性能提升幅度取决于具体的任务和数据集，但总体而言，OHIO能够带来显著的性能提升。
🎯 应用场景
OHIO框架可应用于各种需要分层控制的机器人任务，例如复杂环境下的导航、操作和装配。此外，该方法还可用于网络优化、资源分配等领域，尤其是在数据收集成本高昂或难以进行在线探索的情况下，离线学习具有重要意义。未来，OHIO可以扩展到更复杂的分层策略结构和更广泛的应用场景。
📄 摘要（原文）
Hierarchical policies enable strong performance in many sequential decision-making problems, such as those with high-dimensional action spaces, those requiring long-horizon planning, and settings with sparse rewards. However, learning hierarchical policies from static offline datasets presents a significant challenge. Crucially, actions taken by higher-level policies may not be directly observable within hierarchical controllers, and the offline dataset might have been generated using a different policy structure, hindering the use of standard offline learning algorithms. In this work, we propose OHIO: a framework for offline reinforcement learning (RL) of hierarchical policies. Our framework leverages knowledge of the policy structure to solve the \textit{inverse problem}, recovering the unobservable high-level actions that likely generated the observed data under our hierarchical policy. This approach constructs a dataset suitable for off-the-shelf offline training. We demonstrate our framework on robotic and network optimization problems and show that it substantially outperforms end-to-end RL methods and improves robustness. We investigate a variety of instantiations of our framework, both in direct deployment of policies trained offline and when online fine-tuning is performed. Code and data are available at https://ohio-offline-hierarchical-rl.github.io