Switching Successor Measures for Hierarchical Zero-shot Reinforcement Learning
作者: Stefan Stojanovic, Alexandre Proutiere
分类: cs.LG
发布日期: 2026-05-13
🔗 代码/项目: PROJECT_PAGE
💡 一句话要点
提出基于切换后继测度的分层零样本强化学习方法，无需额外监督。
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 分层强化学习 零样本学习 后继测度 前向-后向表示 策略学习
📋 核心要点
- 现有分层强化学习方法依赖于固定的时间抽象或目标条件目标，限制了其在通用奖励函数任务中的应用。
- 论文提出切换后继测度，扩展了传统后继测度，无需额外监督即可实现分层控制，避免了固定horizon和手动设计子目标。
- FB $π$-Switch算法从前向-后向表示中提取分层策略，实验表明其在目标条件和通用奖励任务中均表现良好。
📝 摘要（中文）
分层强化学习通过将长时程决策分解为更简单的子问题来提高泛化能力。然而，现有方法通常依赖于限制性的设计选择，例如固定的时间抽象或目标条件目标，这在很大程度上将它们限制在目标到达任务中，并限制了它们对一般奖励函数的适用性。本文介绍了一种切换后继测度，它是后继测度的扩展，可以在零样本强化学习中实现分层控制，而无需额外的监督、固定horizon或手动设计的子目标。我们表明，切换后继测度自然地从经典后继测度中产生，同时保留其底层结构。在此基础上，我们提出了一种FB $π$-Switch算法，该算法直接从前向-后向(FB)表示中提取高级子目标选择策略和低级控制策略，从而允许分层行为从单个学习表示中涌现。在目标条件和基于一般奖励的任务上的实验表明，FB $π$-Switch优于非分层基线，并在目标条件设置中与最先进的分层方法相匹配。这些结果表明，结构化后继表示为超越目标到达任务的分层零样本强化学习提供了灵活的基础。我们的项目网站位于：https://stestokth.github.io/switching-successors/。
🔬 方法详解
问题定义：现有分层强化学习方法在处理通用奖励函数任务时存在局限性，因为它们通常依赖于预定义的子目标或固定的时间抽象。这限制了它们在更广泛的强化学习问题中的应用，尤其是在零样本学习场景下，缺乏明确的子目标或先验知识。
核心思路：论文的核心思路是利用切换后继测度，将分层控制自然地融入到后继表示中。通过学习状态之间的切换关系，智能体可以自动发现有用的子目标，而无需人工干预或额外的监督。这种方法允许智能体在不同的抽象层次上进行推理，从而提高泛化能力。
技术框架：FB $π$-Switch算法基于前向-后向(FB)表示。该算法包含两个主要模块：一个用于学习状态表示和后继测度的模块，以及一个用于提取分层策略的模块。学习模块使用标准的强化学习算法（如Q-learning或策略梯度）来学习状态表示和后继测度。策略提取模块则利用学习到的后继测度来构建高级子目标选择策略和低级控制策略。
关键创新：该论文的关键创新在于切换后继测度的概念，它允许智能体在不同的状态之间进行切换，并学习相应的后继测度。这种切换机制使得智能体能够自动发现有用的子目标，并构建分层策略，而无需额外的监督或人工设计。与传统的后继表示方法相比，切换后继测度更加灵活和通用。
关键设计：FB $π$-Switch算法的关键设计包括：1) 使用前向-后向表示来学习状态表示和后继测度；2) 定义切换后继测度，允许智能体在不同的状态之间进行切换；3) 设计策略提取模块，从学习到的后继测度中提取分层策略。具体的损失函数和网络结构取决于所使用的强化学习算法和状态表示方法。
🖼️ 关键图片
📊 实验亮点
实验结果表明，FB $π$-Switch算法在目标条件任务和通用奖励任务中均优于非分层基线。在目标条件任务中，该算法与最先进的分层方法性能相当，但在通用奖励任务中表现更佳，证明了其在更广泛的强化学习问题中的适用性。项目网站提供了更多实验细节和可视化结果。
🎯 应用场景
该研究成果可应用于机器人导航、游戏AI、任务规划等领域。通过学习分层策略，智能体可以更有效地解决复杂任务，并在未知环境中实现更好的泛化能力。该方法在自动化、智能制造等领域具有潜在的应用价值，能够提升系统的自主性和适应性。
📄 摘要（原文）
Hierarchical reinforcement learning can improve generalization by decomposing long-horizon decision-making into simpler subproblems. However, existing approaches often rely on restrictive design choices, such as fixed temporal abstractions or goal-conditioned objectives, which largely confine them to goal-reaching tasks and limit their applicability to general reward functions. In this paper, we introduce switching successor measures, an extension of successor measures that enables hierarchical control in zero-shot reinforcement learning without additional supervision, fixed horizons, or manually designed subgoals. We show that switching successor measures arise naturally from classical successor measures while preserving their underlying structure. Building on this result, we propose FB $π$-Switch, an algorithm that extracts both a high-level subgoal-selection policy and a low-level control policy directly from forward-backward (FB) representations, allowing hierarchical behavior to emerge from a single learned representation. Experiments on both goal-conditioned and general reward-based tasks show that FB $π$-Switch improves over non-hierarchical baselines and matches state-of-the-art hierarchical methods in goal-conditioned settings. These results demonstrate that structured successor representations provide a flexible foundation for hierarchical zero-shot reinforcement learning beyond goal-reaching tasks. Our project website is available at: https://stestokth.github.io/switching-successors/.