The Terminal Representation in Reinforcement Learning

📄 arXiv: 2605.31289v1 📥 PDF

作者: Amir Esterhuysen, Anders Jonsson

分类: cs.LG, cs.AI

发布日期: 2026-05-29

💡 一句话要点

提出终端表征(TR)，一种无需特征分解且低维度的强化学习状态表征方法。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 强化学习 状态表征 终端表征 奖励塑造 迁移学习 选项发现 特征分解 低维度表征

📋 核心要点

  1. 后继表征(SR)和默认表征(DR)在强化学习中被广泛应用，但DR需要特征分解，计算成本高，且对转移动态有对称性假设。
  2. 本文提出终端表征(TR)，通过奖励加权轨迹编码状态，可学习为低维对象，无需特征分解，降低计算复杂度。
  3. 理论分析和实验结果表明，TR能够有效替代现有表征方法，并在计算效率上具有优势，适用于多种下游任务。

📝 摘要（中文）

本文提出了一种新的强化学习中的状态表征方法：终端表征(TR)。现有的后继表征(SR)和默认表征(DR)通过编码未来轨迹来抽象状态，TR与DR类似，通过奖励加权轨迹进行编码，但TR可以学习为低维对象，无需特征分解即可直接用于选项发现、奖励塑造、迁移学习和探索等下游任务。此外，TR还能绕过特征分解所要求的对称转移动态假设。本文阐述了TR的理论基础，包括其推导、两种学习算法的收敛性、零样本组合性以及不同奖励公式之间的等价性。研究表明，TR嵌入在DR的顶部特征向量中，能够在不进行特征分解的情况下捕获相同的底层知识。实验结果表明，TR是现有表征方法的可行替代方案，同时降低了学习、存储和使用的计算开销。

🔬 方法详解

问题定义：现有强化学习的状态表征方法，如DR，依赖于特征分解来提取关键信息，这带来了较高的计算成本，并且其特征分解过程隐含地假设了环境转移动态的对称性，这在实际问题中往往不成立。因此，如何设计一种更高效、更通用的状态表征方法是一个关键问题。

核心思路：本文的核心思路是直接学习一种低维的、基于奖励加权轨迹的状态表征，称为终端表征(TR)。TR通过将状态与最终奖励联系起来，避免了对整个状态空间进行特征分解的需求，从而降低了计算复杂度。同时，由于TR直接学习奖励加权的轨迹，因此不需要对环境转移动态进行对称性假设。

技术框架：TR的学习过程通常包含以下几个步骤：1) 从环境中采样轨迹；2) 根据轨迹中的奖励计算每个状态的奖励加权值；3) 使用这些奖励加权值来更新TR的表征；4) 将学习到的TR用于下游任务，如选项发现、奖励塑造等。TR可以采用不同的学习算法进行更新，例如基于梯度下降的方法。

关键创新：TR最重要的技术创新在于它避免了特征分解，直接学习低维的奖励加权状态表征。这与DR等方法形成了鲜明对比，DR需要先计算状态转移矩阵的特征向量，然后才能用于下游任务。TR的直接学习方式不仅降低了计算复杂度，还使其能够适用于更广泛的环境，包括那些不满足对称性假设的环境。

关键设计：TR的关键设计包括：1) 如何有效地计算奖励加权轨迹；2) 如何选择合适的学习算法来更新TR；3) 如何将TR集成到不同的下游任务中。此外，TR的维度也是一个重要的参数，需要根据具体的任务进行调整。论文中提出了两种学习TR的算法，并证明了它们的收敛性。损失函数的设计需要保证TR能够准确地反映状态与最终奖励之间的关系。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，TR在多个强化学习任务中表现出与现有表征方法相当甚至更好的性能，同时显著降低了计算开销。例如，在选项发现任务中，TR能够以更少的计算资源找到更有价值的选项。此外，研究还验证了TR嵌入在DR的顶部特征向量中，这进一步证明了TR能够捕获与DR相似的底层知识，但无需特征分解。

🎯 应用场景

终端表征(TR)在强化学习领域具有广泛的应用前景，可用于机器人导航、游戏AI、推荐系统等。其低计算成本和无需对称性假设的特点，使其特别适用于资源受限的设备和复杂的非对称环境。TR能够提升强化学习算法的效率和泛化能力，加速智能体的学习过程，并为解决实际问题提供更有效的工具。

📄 摘要（原文）

Representation learning is a powerful tool for spatio-temporal abstraction within reinforcement learning (RL). Two well established approaches are through the successor representation (SR) and the default representation (DR). The SR encodes states by the future trajectories they induce, capturing information flow decoupled from reward. The DR builds on this by weighting trajectories with reward, integrating credit-assignment structure into the representation. Eigenvectors of both representations have been used to support a range of downstream tasks -- including option discovery, reward shaping, transfer learning, and exploration. We introduce a structurally distinct formulation: the terminal representation (TR). The TR encodes reward-weighted trajectories similarly to the DR, but can be learned as a lower-dimensionality object, and can be used directly for the mentioned applications without eigenvector computations. Eigendecomposition also imposes the assumption of symmetric transition dynamics, which the TR can bypass. In this work we develop the theoretical foundations of the TR: its derivation, convergence of two learning algorithms, its use for zero-shot compositionality, and equivalences between alternative reward formulations. We further show the TR is embedded in the top DR eigenvector, allowing it to capture the same underlying knowledge without eigendecomposition. Additionally, we provide empirical evidence of the TR as a viable alternative to existing representations in subsidiary applications, while requiring less computational overhead to learn, store, and use.