When Learning Rates Go Wrong: Early Structural Signals in PPO Actor-Critic

📄 arXiv: 2603.09950v1 📥 PDF

作者: Alberto Fernández-Hernández, Cristian Pérez-Corral, Jose I. Mestre, Manuel F. Dolz, Jose Duato, Enrique S. Quintana-Ortí

分类: cs.LG, cs.AI

发布日期: 2026-03-10

💡 一句话要点

提出基于OUI的PPO早期结构信号分析方法，加速超参数寻优。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 强化学习 PPO 学习率 超参数优化 神经网络 早期停止 过拟合 欠拟合

📋 核心要点

  1. 深度强化学习对学习率敏感，超参数搜索成本高昂，需要有效方法来识别和剔除表现不佳的训练。
  2. 论文提出使用过拟合-欠拟合指标（OUI）来分析PPO网络隐藏神经元的激活模式，从而判断学习率是否合适。
  3. 实验表明，早期OUI测量值能有效区分不同学习率机制，并可用于提前终止不佳训练，提升超参数搜索效率。

📝 摘要（中文）

深度强化学习系统对学习率（LR）高度敏感，选择稳定且高性能的训练通常需要大量的超参数搜索。在近端策略优化（PPO）actor-critic方法中，小的LR值导致收敛缓慢，而大的LR值可能导致不稳定或崩溃。本文通过使用过拟合-欠拟合指标（OUI）分析网络中隐藏神经元的行为来研究这种现象，OUI量化了固定探针批次上二元激活模式的平衡。我们引入了一种有效的基于批次的OUI公式，并推导了LR和激活符号变化之间的理论联系，阐明了神经元内部结构的正确演化如何依赖于步长。在三个离散控制环境和多个种子上的实验表明，仅在10%的训练中测量的OUI已经可以区分LR机制。我们观察到一致的不对称性：实现最高回报的critic网络在中间OUI范围内运行（避免饱和），而实现最高回报的actor网络表现出相对较高的OUI值。然后，我们比较了基于OUI的筛选规则与早期回报、基于clip、基于散度和基于flip的标准，在成功运行的匹配召回率下。在这种设置下，OUI提供了最强的早期筛选信号：OUI单独实现了在更广泛召回率下的最佳精度，而将早期回报与OUI相结合可在最佳性能的筛选机制中产生最高的精度，从而能够积极地修剪没有希望的运行，而无需完全训练。

🔬 方法详解

问题定义：深度强化学习，特别是PPO算法，对学习率的选择非常敏感。不合适的学习率会导致训练不稳定、收敛缓慢甚至崩溃。现有的超参数搜索方法通常需要完整的训练过程才能评估学习率的优劣，计算成本高昂。因此，如何在训练早期快速判断学习率的有效性是一个关键问题。

核心思路：论文的核心思路是利用神经网络内部神经元的激活模式来判断学习率是否合适。作者假设，合适的学习率能够使神经元的激活模式保持一定的平衡，既不过于饱和（所有神经元都激活或都不激活），也不过于欠拟合（神经元激活模式过于随机）。通过量化这种平衡，可以早期预测训练的最终性能。

技术框架：论文提出的方法主要包含以下几个阶段：1) 在训练初期（例如10%的训练步数）收集一批固定的探针数据；2) 使用当前的网络参数对探针数据进行前向传播，记录每个神经元的激活状态（二元化）；3) 计算过拟合-欠拟合指标（OUI），OUI量化了激活模式的平衡程度；4) 基于OUI值设定阈值，提前终止OUI值不符合要求的训练。

关键创新：论文的关键创新在于提出了使用OUI作为早期结构信号来判断学习率优劣的方法。与传统的基于回报、梯度等指标的方法相比，OUI直接关注网络内部的结构变化，能够更早地捕捉到学习率不当的影响。此外，论文还提出了一种高效的批处理OUI计算方法，降低了计算成本。

关键设计：OUI的计算公式基于二元激活模式的熵。具体来说，对于每个神经元，统计其激活和未激活的次数，然后计算其熵值。所有神经元的熵值的平均值即为OUI。论文还分析了OUI与学习率之间的理论关系，表明合适的学习率能够使神经元的激活状态保持一定的动态变化，从而避免饱和或欠拟合。

🖼️ 关键图片

fig_0

📊 实验亮点

实验结果表明，仅使用10%的训练数据计算的OUI就能有效区分不同的学习率机制。在三个离散控制环境中，OUI能够以较高的精度和召回率筛选出表现不佳的训练。将OUI与早期回报相结合，可以进一步提高筛选精度，实现更高效的超参数优化。OUI在更广泛的召回率下实现了最佳精度，并且在最佳性能的筛选机制中，将早期回报与OUI相结合可产生最高的精度。

🎯 应用场景

该研究成果可应用于各种基于PPO的强化学习任务中，例如机器人控制、游戏AI、自动驾驶等。通过早期筛选不合适的学习率，可以显著减少超参数搜索的时间和计算资源消耗，加速算法的开发和部署。此外，该方法也可以推广到其他深度学习算法中，用于监控训练过程中的网络结构变化。

📄 摘要（原文）

Deep Reinforcement Learning systems are highly sensitive to the learning rate (LR), and selecting stable and performant training runs often requires extensive hyperparameter search. In Proximal Policy Optimization (PPO) actor--critic methods, small LR values lead to slow convergence, whereas large LR values may induce instability or collapse. We analyse this phenomenon from the behavior of the hidden neurons in the network using the Overfitting-Underfitting Indicator (OUI), a metric that quantifies the balance of binary activation patterns over a fixed probe batch. We introduce an efficient batch-based formulation of OUI and derive a theoretical connection between LR and activation sign changes, clarifying how a correct evolution of the neuron's inner structure depends on the step size. Empirically, across three discrete-control environments and multiple seeds, we show that OUI measured at only 10\% of training already discriminates between LR regimes. We observe a consistent asymmetry: critic networks achieving highest return operate in an intermediate OUI band (avoiding saturation), whereas actor networks achieving highest return exhibit comparatively high OUI values. We then compare OUI-based screening rules against early return, clip-based, divergence-based, and flip-based criteria under matched recall over successful runs. In this setting, OUI provides the strongest early screening signal: OUI alone achieves the best precision at broader recall, while combining early return with OUI yields the highest precision in best-performing screening regimes, enabling aggressive pruning of unpromising runs without requiring full training.