METRA: Scalable Unsupervised RL with Metric-Aware Abstraction
作者: Seohong Park, Oleh Rybkin, Sergey Levine
分类: cs.LG, cs.AI, cs.RO
发布日期: 2023-10-13 (更新: 2024-03-10)
备注: ICLR 2024
💡 一句话要点
提出METRA以解决无监督强化学习的可扩展性问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)
关键词: 无监督强化学习 度量感知 行为发现 高维环境 机器人控制 自动驾驶 游戏AI
📋 核心要点
- 现有无监督强化学习方法在复杂环境中难以扩展，尤其是在大状态空间中，纯探索方法难以覆盖所有转移。
- 本文提出度量感知抽象（METRA），通过学习在潜在空间中移动来近似覆盖状态空间，从而提高无监督RL的可扩展性。
- 实验表明，METRA在五个运动和操作环境中成功发现多样的行为，是首个在像素基础的四足和人形机器人中实现多样化运动的无监督RL方法。
📝 摘要（中文）
无监督预训练策略在自然语言处理和计算机视觉中已被证明非常有效。无监督强化学习（RL）同样有潜力发现多种有用行为，从而加速下游任务的学习。然而，现有的无监督RL方法主要集中在纯探索和互信息技能学习上，导致在复杂环境中难以扩展。为此，本文提出了一种新的无监督RL目标——度量感知抽象（METRA），通过覆盖与状态空间相连的紧凑潜在空间，来实现对复杂高维环境的可扩展性。实验结果表明，METRA能够在复杂的像素环境中发现多样的有用行为，尤其是在四足和人形机器人中表现突出。
🔬 方法详解
问题定义：本文旨在解决无监督强化学习在复杂高维环境中的可扩展性问题。现有方法在大状态空间中面临覆盖困难和缺乏探索激励的挑战。
核心思路：METRA的核心思路是通过覆盖与状态空间相连的紧凑潜在空间，而非直接覆盖整个状态空间。通过在潜在空间中学习移动，METRA能够获得多样化的行为，适应高维环境。
技术框架：METRA的整体架构包括潜在空间的学习和行为生成两个主要模块。首先，通过度量学习建立潜在空间，然后在该空间中进行探索和行为生成。
关键创新：METRA的关键创新在于其度量感知的抽象方法，使得无监督RL能够在复杂环境中实现有效的行为发现。这一方法与传统的纯探索或互信息技能学习方法本质上不同。
关键设计：在技术细节上，METRA采用了特定的损失函数来优化潜在空间的学习，同时设计了适应高维状态空间的网络结构，以确保行为的多样性和有效性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，METRA在五个不同的运动和操作环境中成功发现多样的行为，尤其是在像素基础的四足和人形机器人中，首次实现了多样化的运动行为，相较于基线方法有显著提升。
🎯 应用场景
该研究的潜在应用领域包括机器人控制、自动驾驶、游戏AI等。通过在复杂环境中有效发现多样化行为，METRA能够为各种任务提供更高效的学习策略，推动无监督学习在实际应用中的发展。
📄 摘要（原文）
Unsupervised pre-training strategies have proven to be highly effective in natural language processing and computer vision. Likewise, unsupervised reinforcement learning (RL) holds the promise of discovering a variety of potentially useful behaviors that can accelerate the learning of a wide array of downstream tasks. Previous unsupervised RL approaches have mainly focused on pure exploration and mutual information skill learning. However, despite the previous attempts, making unsupervised RL truly scalable still remains a major open challenge: pure exploration approaches might struggle in complex environments with large state spaces, where covering every possible transition is infeasible, and mutual information skill learning approaches might completely fail to explore the environment due to the lack of incentives. To make unsupervised RL scalable to complex, high-dimensional environments, we propose a novel unsupervised RL objective, which we call Metric-Aware Abstraction (METRA). Our main idea is, instead of directly covering the entire state space, to only cover a compact latent space $Z$ that is metrically connected to the state space $S$ by temporal distances. By learning to move in every direction in the latent space, METRA obtains a tractable set of diverse behaviors that approximately cover the state space, being scalable to high-dimensional environments. Through our experiments in five locomotion and manipulation environments, we demonstrate that METRA can discover a variety of useful behaviors even in complex, pixel-based environments, being the first unsupervised RL method that discovers diverse locomotion behaviors in pixel-based Quadruped and Humanoid. Our code and videos are available at https://seohong.me/projects/metra/