Dynamical Priors as a Training Objective in Reinforcement Learning

📄 arXiv: 2604.21464v1 📥 PDF

作者: Sukesh Subaharan

分类: cs.LG, cs.AI

发布日期: 2026-04-23

备注: Supplementary material can be accessed here: https://github.com/drsukeshs/esd-rl

💡 一句话要点

DP-RL：通过动态先验作为强化学习的训练目标，提升决策时序一致性

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 强化学习 动态先验 时序一致性 策略梯度 证据累积

📋 核心要点

  1. 传统强化学习缺乏对决策时序连贯性的约束，导致策略行为不稳定，例如置信度突变。
  2. DP-RL通过引入基于外部状态动态的辅助损失，在不改变环境和奖励的前提下，引导策略学习。
  3. 实验表明，DP-RL能有效促进决策的时序结构化，提升智能体行为的稳定性和可解释性。

📝 摘要（中文）

标准的强化学习(RL)优化策略以最大化奖励为目标，但对决策随时间演化的方式几乎没有约束。因此，策略可能获得高性能，但表现出时间上不连贯的行为，例如突发的置信度变化、振荡或退化的不活跃状态。我们引入了动态先验强化学习(DP-RL)，这是一个训练框架，它使用源于外部状态动态的辅助损失来增强策略梯度学习，这些外部状态动态实现了证据累积和滞后效应。在不修改奖励、环境或策略架构的情况下，这种先验塑造了学习过程中动作概率的时间演化。在三个最小环境中，我们表明动态先验以任务相关的方式系统地改变决策轨迹，从而促进了无法用通用平滑解释的时间结构化行为。这些结果表明，仅训练目标就可以控制RL智能体决策的时间几何。

🔬 方法详解

问题定义：现有强化学习方法在优化策略时，主要关注最大化累积奖励，而忽略了决策过程的时序连贯性。这导致智能体在决策过程中可能出现不稳定的行为，例如频繁的动作切换、置信度突变等。这些不稳定的行为降低了策略的可解释性和鲁棒性，限制了其在实际场景中的应用。

核心思路：DP-RL的核心思路是通过引入动态先验来约束策略的学习过程，从而引导智能体学习到时序连贯的决策模式。动态先验通过模拟证据累积和滞后效应，鼓励智能体在一段时间内保持相似的决策，避免频繁的动作切换。这种方法在不改变原始奖励函数和环境设置的前提下，有效地提升了策略的时序一致性。

技术框架：DP-RL的整体框架是在标准的策略梯度强化学习算法的基础上，增加了一个辅助损失函数。该辅助损失函数基于外部状态动态计算，用于衡量当前策略与动态先验之间的差异。具体来说，首先根据当前状态和策略生成动作概率分布，然后利用外部状态动态（例如，一个简单的线性动力系统）对该概率分布进行更新，得到一个先验概率分布。辅助损失函数衡量当前策略生成的概率分布与先验概率分布之间的差异，例如可以使用KL散度或交叉熵。最终的训练目标是最小化奖励损失和辅助损失的加权和。

关键创新：DP-RL最重要的技术创新在于将动态先验作为一种正则化手段引入到强化学习的训练过程中。与传统的平滑方法不同，DP-RL的动态先验能够根据任务的特点自适应地调整决策的时序结构，从而更好地引导智能体学习到符合任务需求的策略。此外，DP-RL不需要修改原始的奖励函数和环境设置，具有较强的通用性和易用性。

关键设计：DP-RL的关键设计包括动态先验的具体形式和辅助损失函数的选择。动态先验可以使用各种形式的动力系统来模拟证据累积和滞后效应，例如线性动力系统、非线性动力系统等。辅助损失函数可以选择KL散度、交叉熵等常用的距离度量方法。此外，辅助损失函数的权重也是一个重要的超参数，需要根据具体的任务进行调整。论文中使用了简单的线性动力系统作为动态先验，并使用KL散度作为辅助损失函数。

📊 实验亮点

论文在三个最小环境中验证了DP-RL的有效性。实验结果表明，DP-RL能够显著改善策略的时序连贯性，避免不必要的动作切换和置信度突变。与没有动态先验的基线方法相比，DP-RL能够学习到更加稳定和可靠的策略。此外，实验还表明，动态先验能够以任务相关的方式改变决策轨迹，从而促进了无法用通用平滑解释的时间结构化行为。

🎯 应用场景

DP-RL具有广泛的应用前景，例如可以应用于机器人控制、自动驾驶、金融交易等领域。在这些领域中，决策的时序连贯性至关重要。通过引入动态先验，DP-RL可以帮助智能体学习到更加稳定和可靠的策略，从而提升其在实际场景中的性能和鲁棒性。此外，DP-RL还可以用于提高强化学习算法的可解释性，帮助人们更好地理解智能体的决策过程。

📄 摘要（原文）

Standard reinforcement learning (RL) optimizes policies for reward but imposes few constraints on how decisions evolve over time. As a result, policies may achieve high performance while exhibiting temporally incoherent behavior such as abrupt confidence shifts, oscillations, or degenerate inactivity. We introduce Dynamical Prior Reinforcement Learning (DP-RL), a training framework that augments policy gradient learning with an auxiliary loss derived from external state dynamics that implement evidence accumulation and hysteresis. Without modifying the reward, environment, or policy architecture, this prior shapes the temporal evolution of action probabilities during learning. Across three minimal environments, we show that dynamical priors systematically alter decision trajectories in task-dependent ways, promoting temporally structured behavior that cannot be explained by generic smoothing. These results demonstrate that training objectives alone can control the temporal geometry of decision-making in RL agents.