Operator-Guided Invariance Learning for Continuous Reinforcement Learning

📄 arXiv: 2605.06500v1 📥 PDF

作者: Zuyuan Zhang, Fei Xu Yu, Tian Lan

分类: cs.LG, cs.AI

发布日期: 2026-05-07

💡 一句话要点

提出VPSD-RL，通过算子引导的不变性学习提升连续强化学习的数据效率和鲁棒性。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 强化学习 连续控制 不变性学习 李群 价值函数

📋 核心要点

  1. 连续强化学习对数据需求高，且易受扰动影响，现有方法难以发现一般的价值保持结构。
  2. VPSD-RL将连续强化学习建模为受控扩散，通过李群作用寻找价值保持映射，提升学习的稳定性和效率。
  3. 实验证明，VPSD-RL在连续控制任务中表现出更高的数据效率和鲁棒性，验证了其有效性。

📝 摘要（中文）

本文提出了一种用于连续强化学习的价值保持结构发现方法（VPSD-RL），旨在解决连续时间和状态/动作空间中强化学习的数据密集性和对扰动变化的脆弱性问题。VPSD-RL将连续强化学习建模为受控扩散过程，并通过李群作用和相关的拉回算子定义价值保持映射。研究表明，价值保持结构存在的充要条件是拉回价值函数和前推动作与受控生成器和奖励泛函可交换。此外，当Hamilton-Jacobi-Bellman不匹配较小时，可以找到具有严格保证的近似价值保持结构。该框架通过搜索相关的李群算子来发现精确和近似的价值保持结构。VPSD-RL拟合可微的漂移、扩散和奖励模型；通过确定方程残差最小化学习无穷小生成器；用ODE流对其进行指数化以获得有限变换；并通过转换增强和转换一致性正则化将其集成到连续强化学习中。实验表明，有界生成器/奖励不匹配意味着最优价值函数沿近似轨道的定量稳定性，其灵敏度由有效视界控制，并在连续控制基准上观察到改进的数据效率和鲁棒性。

🔬 方法详解

问题定义：连续强化学习在实际应用中面临数据效率低和对环境扰动敏感的问题。现有的方法通常侧重于特定的对称性或精确的等变性，而忽略了更一般的、需要非线性算子进行变换和映射的价值保持结构。因此，如何发现这些更通用的结构，并利用它们来提升强化学习的性能，是一个重要的挑战。

核心思路：VPSD-RL的核心思想是将连续强化学习问题视为一个受控扩散过程，并利用李群理论来寻找价值保持的变换。通过寻找合适的李群算子，可以在不同的状态和动作之间建立价值函数不变的映射关系。这种方法允许算法在不同的状态空间中进行泛化，从而提高数据效率和鲁棒性。

技术框架：VPSD-RL的整体框架包括以下几个主要阶段： 1. 模型拟合：拟合可微的漂移、扩散和奖励模型，用于描述环境的动态特性。 2. 生成器学习：通过求解确定方程的残差最小化问题，学习无穷小生成器，这些生成器描述了李群作用的局部性质。 3. 变换生成：使用常微分方程（ODE）流对无穷小生成器进行指数化，从而获得有限的变换，这些变换定义了状态和动作之间的映射关系。 4. 策略优化：将学习到的变换集成到强化学习算法中，通过转换增强和转换一致性正则化来提高策略的性能。

关键创新：VPSD-RL的关键创新在于它提供了一个通用的框架，用于发现连续强化学习中的价值保持结构。与以往方法不同，VPSD-RL不依赖于预先定义的对称性或等变性，而是通过学习的方式来发现这些结构。此外，VPSD-RL还提供了理论保证，证明了在生成器/奖励不匹配的情况下，最优价值函数的稳定性。

关键设计：VPSD-RL的关键设计包括： 1. 确定方程残差最小化：通过最小化确定方程的残差来学习无穷小生成器，这使得算法能够有效地发现价值保持结构。 2. 转换增强：通过将学习到的变换应用于状态和动作，可以生成更多的数据，从而提高数据效率。 3. 转换一致性正则化：通过正则化策略，使其在经过变换后的状态和动作上保持一致，从而提高策略的鲁棒性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，VPSD-RL在多个连续控制基准任务上都取得了显著的性能提升。具体来说，VPSD-RL在数据效率和鲁棒性方面都优于现有的强化学习算法。例如，在某些任务上，VPSD-RL可以使用更少的数据达到与现有算法相当的性能，并且在面对环境扰动时表现出更强的稳定性。

🎯 应用场景

VPSD-RL具有广泛的应用前景，例如机器人控制、自动驾驶、金融交易等领域。通过学习价值保持结构，可以使智能体在复杂和不确定的环境中更加稳定和高效地学习。此外，该方法还可以用于解决强化学习中的泛化问题，使智能体能够更好地适应新的环境和任务。

📄 摘要（原文）

Reinforcement learning (RL) with continuous time and state/action spaces is often data-intensive and brittle under nuisance variability and shift, motivating methods that exploit value-preserving structures to stabilize and improve learning. Most existing approaches focus on special cases, such as prescribed symmetries and exact equivariance, without addressing how to discover more general structures that require nonlinear operators to transform and map between continuous state/action systems with isomorphic value functions. We propose \textbf{VPSD-RL} (Value-Preserving Structure Discovery for Reinforcement Learning). It models continuous RL as a controlled diffusion with value-preserving mappings defined through Lie-group actions and associated pullback operators. We show that a value-preserving structure exists exactly when pulling back the value function and pushing forward actions commute with the controlled generator and reward functional. Further, approximate value-preserving structures with rigorous guarantees can be found when the Hamilton--Jacobi--Bellman mismatch is small. This framework discovers exact and approximate value-preserving structures by searching for the associated Lie group operators. VPSD-RL fits differentiable drift, diffusion, and reward models; learns infinitesimal generators via determining-equation residual minimization; exponentiates them with ODE flows to obtain finite transformations; and integrates them into continuous RL through transition augmentation and transformation-consistency regularization. We show that bounded generator/reward mismatch implies quantitative stability of the optimal value function along approximate orbits, with sensitivity governed by the effective horizon, and observe improved data efficiency and robustness on continuous-control benchmarks.