Soft $Q(λ)$: A multi-step off-policy method for entropy regularised reinforcement learning using eligibility traces

📄 arXiv: 2604.13780v1 📥 PDF

作者: Pranav Mahajan, Ben Seymour

分类: cs.LG, cs.AI

发布日期: 2026-04-15

💡 一句话要点

提出Soft Q(λ)，一种基于资格迹的熵正则化强化学习离策略多步方法

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 强化学习 熵正则化 离策略学习 资格迹 软Q学习 多步学习 价值函数

📋 核心要点

  1. 现有软Q学习方法的多步扩展探索不足，且局限于在线策略采样，限制了其应用范围。
  2. 论文提出Soft Q(λ)框架，结合n步软Q学习和软树备份算子，实现完全离策略学习。
  3. 该方法利用资格迹进行高效的信用分配，为学习熵正则化价值函数提供了一种新的无模型途径。

📝 摘要（中文）

软Q学习已成为一种通用的无模型方法，用于熵正则化强化学习，它优化了回报，并对与参考策略的差异施加了惩罚。尽管取得了成功，但软Q学习的多步扩展仍然相对未被探索，并且仅限于玻尔兹曼策略下的在线策略动作采样。在这篇简短的研究报告中，我们首先提出了软Q学习的正式n步公式，然后通过引入一种新的软树备份算子，将该框架扩展到完全离策略的情况。最后，我们将这些发展统一到Soft Q(λ)中，这是一个优雅的在线、离策略、资格迹框架，允许在任意行为策略下进行有效的信用分配。我们的推导提出了一种无模型方法，用于学习熵正则化的价值函数，该函数可用于未来的实证实验。

🔬 方法详解

问题定义：论文旨在解决熵正则化强化学习中，软Q学习方法在离策略和多步学习方面的不足。现有方法要么局限于在线策略采样，要么缺乏有效的信用分配机制，限制了其在复杂环境中的应用。

核心思路：论文的核心思路是将n步软Q学习与软树备份算子相结合，构建一个完全离策略的学习框架。通过引入资格迹机制，实现高效的信用分配，从而能够在任意行为策略下学习熵正则化的价值函数。这种设计旨在克服传统软Q学习方法在离策略学习方面的局限性。

技术框架：Soft Q(λ)框架主要包含以下几个关键部分：首先，定义了n步软Q学习的公式，用于估计未来n步的回报。其次，引入了软树备份算子，用于在离策略情况下更新价值函数。最后，结合资格迹机制，将n步回报信息传播到之前的状态-动作对，实现高效的信用分配。整个框架是一个在线、离策略的学习过程。

关键创新：论文最重要的技术创新在于提出了Soft Tree Backup算子，并将其与资格迹机制相结合，实现了完全离策略的软Q学习。与传统的树备份算法不同，Soft Tree Backup算子考虑了熵正则化项，从而能够学习更加鲁棒和泛化的策略。此外，资格迹机制的引入使得信用分配更加高效，加速了学习过程。

关键设计：Soft Q(λ)框架的关键设计包括：n步回报的计算方式，软树备份算子的具体形式，以及资格迹的更新规则。具体而言，n步回报的计算考虑了熵正则化项的影响；软树备份算子利用玻尔兹曼策略进行加权平均；资格迹的更新规则则根据折扣因子和资格迹衰减参数进行调整。这些参数的选择会影响算法的性能和收敛速度。

📊 实验亮点

论文主要贡献在于理论推导，并未提供具体的实验结果。然而，Soft Q(λ)框架的提出为未来的实证研究奠定了基础。未来的研究可以探索该方法在不同环境下的性能，并与其他离策略强化学习算法进行比较，以验证其有效性和优越性。具体的性能数据和提升幅度未知。

🎯 应用场景

Soft Q(λ)方法可应用于机器人控制、游戏AI、推荐系统等领域，尤其适用于需要探索和利用并存、奖励稀疏或延迟的环境。通过学习熵正则化的价值函数，可以提高策略的鲁棒性和泛化能力，从而在实际应用中获得更好的性能。该方法为解决复杂强化学习问题提供了一种新的思路。

📄 摘要（原文）

Soft Q-learning has emerged as a versatile model-free method for entropy-regularised reinforcement learning, optimising for returns augmented with a penalty on the divergence from a reference policy. Despite its success, the multi-step extensions of soft Q-learning remain relatively unexplored and limited to on-policy action sampling under the Boltzmann policy. In this brief research note, we first present a formal $n$-step formulation for soft Q-learning and then extend this framework to the fully off-policy case by introducing a novel Soft Tree Backup operator. Finally, we unify these developments into Soft $Q(λ)$, an elegant online, off-policy, eligibility trace framework that allows for efficient credit assignment under arbitrary behaviour policies. Our derivations propose a model-free method for learning entropy-regularised value functions that can be utilised in future empirical experiments.