Reward Inflation: A Healthy Stimulus for Reinforcement Learning

📄 arXiv: 2610.02545v1 📥 PDF

作者: Ganghun Lee, Minji Kim, Minsu Lee, Byoung-Tak Zhang

分类: cs.LG

发布日期: 2026-10-01

备注: Accepted at NeurIPS 2026

💡 一句话要点

提出奖励膨胀以促进强化学习的适应性

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 强化学习 奖励机制 动态调整 策略更新 神经网络 自适应系统

📋 核心要点

  1. 现有强化学习方法在训练过程中固定奖励幅度，未充分利用奖励的时间调制特性，导致适应性不足。
  2. 本文提出奖励膨胀，通过逐渐扩大奖励幅度，引入隐式近期加权，提升策略更新的效率和适应性。
  3. 实验证明，适当的奖励膨胀在多种任务中显著提升性能，且自适应变体Fed在动态调整膨胀水平时表现更佳。

📝 摘要（中文）

奖励是强化学习中的主要学习信号。然而，现有方法通常在训练过程中保持奖励幅度不变，而对其时间调制的研究相对较少。本文提出了奖励膨胀的概念，即在训练过程中逐渐扩大奖励，并证明其可以作为强化学习的健康刺激。从理论上讲，奖励膨胀引入了隐式的近期加权，使得在策略更新时更重视最近的过渡，从而加速适应。此外，奖励膨胀通过在策略饱和时维持梯度信号，抑制了休眠神经元的出现，帮助保持可塑性。在ALE游戏和MuJoCo任务上的实证结果支持了这一发现，表明适当水平的奖励膨胀对广泛任务有益。最后，我们引入了Fed，一个自适应变体，能够动态调整膨胀水平，发现其通常优于固定膨胀。

🔬 方法详解

问题定义：本文旨在解决现有强化学习方法中奖励幅度固定导致的适应性不足问题。现有方法未能充分利用奖励的时间调制特性，限制了学习效率。

核心思路：论文提出奖励膨胀的概念，通过逐渐扩大奖励幅度，增强对近期过渡的重视，从而加速策略的适应性。该设计旨在提升学习过程中的动态响应能力。

技术框架：整体架构包括奖励膨胀的实施阶段和策略更新阶段。在奖励膨胀阶段，逐步调整奖励幅度；在策略更新阶段，利用加权的奖励信号进行学习。

关键创新：最重要的技术创新点在于引入了奖励膨胀机制，形成隐式的近期加权，与传统固定奖励方法形成鲜明对比，显著提升了学习效率。

关键设计：在设计中，奖励膨胀的幅度和调整策略是关键参数，采用动态调整机制以适应不同任务的需求，确保在策略饱和时仍能维持有效的梯度信号。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，适当的奖励膨胀在ALE游戏和MuJoCo任务中显著提升了性能，具体表现为在多个基准任务上相较于固定奖励方法提高了学习速度和策略质量，验证了理论的有效性。

🎯 应用场景

该研究的潜在应用领域包括游戏AI、机器人控制和自适应系统等。通过引入奖励膨胀机制，可以在多种复杂任务中提升学习效率和适应性，具有重要的实际价值和未来影响。

📄 摘要（原文）

Reward serves as the primary learning signal in reinforcement learning (RL). However, while reward magnitudes are typically held fixed throughout training, their temporal modulation remains underexplored. In this paper, we propose reward inflation, a gradual scaling of rewards over the course of training, and show that it can act as a healthy stimulus for RL. Theoretically, reward inflation induces an implicit recency weighting that upweights recent transitions during policy updates, enabling faster adaptation. We further show that, by sustaining gradient signals as the policy saturates, reward inflation suppresses the emergence of dormant neurons and helps preserve plasticity. Empirical results on ALE games and MuJoCo tasks corroborate these findings, showing that an appropriate level of reward inflation benefits a broad range of tasks. Finally, we introduce Fed, an adaptive variant that adjusts the inflation level on the fly, and find that it often improves upon fixed inflation.