Skill Learning via Policy Diversity Yields Identifiable Representations for Reinforcement Learning

📄 arXiv: 2507.14748v1 📥 PDF

作者: Patrik Reizinger, Bálint Mucsányi, Siyuan Guo, Benjamin Eysenbach, Bernhard Schölkopf, Wieland Brendel

分类: cs.LG, cs.AI, stat.ML

发布日期: 2025-07-19

备注: 16 pages, 7 figures

💡 一句话要点

通过策略多样性学习技能，实现强化学习中可辨识的表征

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 强化学习 表征学习 互信息技能学习 可辨识性 策略多样性

📋 核心要点

  1. 互信息技能学习(MISL)旨在学习环境表征并激励探索，但其表征和互信息参数化的作用尚不明确。
  2. 本文通过可辨识表征学习的视角研究MISL，证明对比后继特征（CSF）方法可以恢复环境的真实特征。
  3. 实验在MuJoCo和DeepMind Control中验证了理论，表明CSF能从状态和像素中恢复真实特征。

📝 摘要（中文）

本文研究了强化学习中的自监督特征学习和预训练方法，这些方法通常依赖于信息论原则，被称为互信息技能学习（MISL）。MISL旨在学习环境的表征，同时激励对环境的探索。然而，表征和互信息参数化在MISL中的作用在理论上尚未被充分理解。本文通过可辨识表征学习的视角研究MISL，重点关注对比后继特征（CSF）方法。我们证明，由于特征的内积参数化和判别意义上的技能多样性，CSF可以可靠地恢复环境的真实特征，直至线性变换。这种强化学习中表征学习的首次可辨识性保证也有助于解释不同互信息目标的影响以及熵正则化器的缺点。我们在MuJoCo和DeepMind Control中验证了我们的主张，并展示了CSF如何可靠地从状态和像素中恢复真实特征。

🔬 方法详解

问题定义：现有强化学习中的互信息技能学习（MISL）方法，虽然旨在学习环境的表征并激励探索，但对于表征和互信息参数化在MISL中的作用缺乏理论上的理解。特别是，如何保证学习到的表征能够准确反映环境的真实特征，以及不同互信息目标和熵正则化器的影响，仍然是未解决的问题。现有方法可能无法保证学习到的表征具有可辨识性，即无法唯一地对应于环境的真实状态。

核心思路：本文的核心思路是通过策略多样性来保证学习到的表征的可辨识性。具体来说，论文关注对比后继特征（CSF）方法，并证明在技能具有足够多样性的情况下，CSF可以恢复环境的真实特征，直至线性变换。这种可辨识性保证来源于特征的内积参数化和判别意义上的技能多样性。通过分析CSF，论文能够更好地理解不同互信息目标的影响以及熵正则化器的缺点。

技术框架：论文的技术框架主要包括以下几个部分：1) 定义了互信息技能学习（MISL）的框架，并介绍了对比后继特征（CSF）方法。2) 从可辨识表征学习的角度分析了CSF，并提出了可辨识性定理。3) 通过理论分析，解释了不同互信息目标和熵正则化器的影响。4) 在MuJoCo和DeepMind Control环境中进行了实验验证，证明了CSF可以从状态和像素中恢复真实特征。

关键创新：论文最重要的技术创新点在于提出了强化学习中表征学习的可辨识性保证。这是首次在理论上证明了在一定条件下，通过互信息技能学习可以恢复环境的真实特征。该理论结果有助于理解MISL的内在机制，并为设计更好的表征学习方法提供了指导。

关键设计：论文的关键设计包括：1) 使用内积参数化特征，这使得可以通过对比学习来恢复特征之间的关系。2) 强调技能多样性的重要性，通过策略多样性来保证学习到的表征具有可辨识性。3) 分析了不同互信息目标和熵正则化器的影响，为选择合适的互信息目标和正则化器提供了理论依据。4) 在实验中，使用了MuJoCo和DeepMind Control等标准强化学习环境，并从状态和像素两个方面验证了理论结果。

🖼️ 关键图片

img_0

📊 实验亮点

实验结果表明，对比后继特征（CSF）方法能够在MuJoCo和DeepMind Control环境中有效地恢复环境的真实特征。具体来说，CSF能够从状态和像素中学习到可辨识的表征，并且在某些情况下，其性能优于现有的互信息技能学习方法。这些实验结果验证了论文提出的可辨识性定理，并表明策略多样性对于学习有效的环境表征至关重要。

🎯 应用场景

该研究成果可应用于机器人控制、游戏AI、自动驾驶等领域。通过学习可辨识的环境表征，可以提高智能体在复杂环境中的泛化能力和适应性。此外，该研究还有助于设计更有效的强化学习算法，并为理解智能体的学习过程提供理论基础。未来，可以将该方法扩展到更复杂的环境和任务中，并与其他表征学习技术相结合，以进一步提高智能体的性能。

📄 摘要（原文）

Self-supervised feature learning and pretraining methods in reinforcement learning (RL) often rely on information-theoretic principles, termed mutual information skill learning (MISL). These methods aim to learn a representation of the environment while also incentivizing exploration thereof. However, the role of the representation and mutual information parametrization in MISL is not yet well understood theoretically. Our work investigates MISL through the lens of identifiable representation learning by focusing on the Contrastive Successor Features (CSF) method. We prove that CSF can provably recover the environment's ground-truth features up to a linear transformation due to the inner product parametrization of the features and skill diversity in a discriminative sense. This first identifiability guarantee for representation learning in RL also helps explain the implications of different mutual information objectives and the downsides of entropy regularizers. We empirically validate our claims in MuJoCo and DeepMind Control and show how CSF provably recovers the ground-truth features both from states and pixels.