Task-Induced Representational Invariances Depend on Learning Objective in Deep RL

📄 arXiv: 2606.01868v1 📥 PDF

作者: Manu Srinath Halvagal, Sebastian Lee, SueYeon Chung

分类: cs.LG

发布日期: 2026-06-01

💡 一句话要点

深度强化学习中任务诱导的表征不变性依赖于学习目标

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱五：交互与反应 (Interaction & Reaction)

关键词: 深度强化学习 表征学习 MDP缩减 对称性 不变性 DQN PPO

📋 核心要点

  1. 现有深度强化学习方法在表征学习的理论理解上存在不足，限制了模型与动物学习的直接比较。
  2. 该研究通过MDP缩减理论分析深度强化学习表征，揭示了不同算法学习到的表征对不同类型对称性的不变性。
  3. 实验表明，DQN学习到的表征对MDP同态对称不变，而PPO学习到的表征对动作对称不变，且该差异影响迁移学习。

📝 摘要（中文）

强化学习(RL)长期以来被视为神经科学中目标导向动物行为的模型。现代深度强化学习在许多领域都取得了显著成功，进一步加强了这种联系。学习高维状态空间的抽象表征的能力是其成功的关键。然而，对这些学习到的表征的理论理解仍然有限，阻碍了模型与动物学习之间的直接比较。本文通过MDP缩减理论分析深度强化学习表征来解决这一问题。通过在导航任务中研究典型的强化学习算法，发现即使性能相当，基于价值的方法(DQN)学习到的表征对于MDP同态对称是不变的，而策略梯度方法(PPO)学习到的表征对于动作对称是不变的。这些差异在不同领域中持续出现，对迁移学习产生下游影响，并且以提示依赖的方式出现在LLM中。研究结果为比较不同强化学习算法学习到的表征提供了一种原则性方法，具有已证实的实际意义，并可能为大脑中的神经编码提供见解。

🔬 方法详解

问题定义：现有深度强化学习算法在学习环境的抽象表征时，缺乏对不同算法之间表征差异的深入理解。具体来说，即使算法在性能上表现相似，它们学习到的状态表征可能具有显著不同的性质，例如对不同类型对称性的不变性。这种差异的根源和影响尚不明确，阻碍了我们对强化学习算法行为的理解和改进。

核心思路：该论文的核心思路是通过MDP缩减理论来分析深度强化学习算法学习到的表征。MDP缩减理论提供了一种形式化的框架，用于理解状态空间中的对称性和不变性。通过将深度强化学习算法学习到的表征与MDP的对称性联系起来，可以揭示不同算法在表征学习上的差异，并理解这些差异对算法行为的影响。

技术框架：该研究的技术框架主要包括以下几个步骤：1) 选择典型的强化学习算法，如DQN和PPO；2) 在导航任务中训练这些算法；3) 使用MDP缩减理论分析算法学习到的状态表征，识别其对不同类型对称性的不变性；4) 通过迁移学习实验，评估不同表征对下游任务的影响；5) 在大型语言模型（LLM）中验证类似现象。

关键创新：该研究的关键创新在于将MDP缩减理论应用于分析深度强化学习算法学习到的表征。通过这种方法，研究人员发现DQN和PPO学习到的表征分别对MDP同态对称和动作对称具有不变性。这一发现揭示了不同强化学习算法在表征学习上的本质差异，并为理解算法行为提供了新的视角。

关键设计：在实验设计方面，研究人员精心选择了导航任务，该任务具有明确的对称性结构，便于应用MDP缩减理论进行分析。此外，研究人员还设计了迁移学习实验，以评估不同表征对下游任务的影响。在算法实现方面，研究人员使用了标准的DQN和PPO算法，并对算法的超参数进行了优化，以确保算法能够获得良好的性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

研究发现，在导航任务中，即使DQN和PPO的性能相当，DQN学习到的表征对MDP同态对称不变，而PPO学习到的表征对动作对称不变。这种差异在不同领域中持续出现，并对迁移学习产生影响。例如，使用DQN学习到的表征进行迁移学习时，在具有MDP同态对称性的任务上表现更好。

🎯 应用场景

该研究的成果可以应用于指导强化学习算法的设计和选择，例如，根据任务的对称性结构选择合适的算法，以获得更有效的表征。此外，该研究还可以为神经科学提供新的见解，帮助理解大脑如何学习和表示环境信息。该研究的发现也可能对大型语言模型（LLM）的提示工程和模型理解有所帮助。

📄 摘要（原文）

Reinforcement Learning (RL) has long served as a model for goal-directed animal behavior in neuroscience. Modern deep RL has shown remarkable success across many domains, further strengthening this connection. The ability to learn abstract representations of high-dimensional state spaces underlies much of this success. However, theoretical understanding of these learned representations remains limited, hindering direct comparisons between models and animal learning. We address this gap by analyzing deep RL representations through the lens of MDP reduction theory. Investigating canonical RL algorithms in a navigation task, we find that even when performance is comparable, the value-based method (DQN) learns representations that are invariant to MDP homomorphism symmetries, while the policy-gradient method (PPO) learns representations invariant to action symmetries. These differences emerge consistently across domains, have downstream consequences for transfer learning, and appear in LLMs in a prompt-dependent manner. Our findings provide a principled approach to comparing learned representations across RL algorithms, with demonstrated practical implications and possible insights for neural coding in the brain.