Dual-Adaptive Z-Score PPO: Dynamic Clipping Using Action Confidence and Normalized Advantage Magnitude

📄 arXiv: 2610.32194v1 📥 PDF

作者: Taha M. Mahmoud, Naima Kaabouch

分类: cs.LG, cs.AI

发布日期: 2026-10-23

备注: 6 pages, 4 figures. This is the author's accepted manuscript of the paper published in the 2026 6th International Conference on Electrical, Computer and Energy Technologies (ICECET 2026), Rome, Italy. The final published version is available via IEEE Xplore at https://doi.org/10.1109/ICECET65726.2026.11633063

期刊: 2026 6th International Conference on Electrical, Computer and Energy Technologies (ICECET)

DOI: 10.1109/ICECET65726.2026.11633063

💡 一句话要点

提出双自适应Z-Score PPO以解决固定剪切阈值问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 近端策略优化 自适应剪切 强化学习 动作置信度 优势幅度 动态调整 控制任务 智能体学习

📋 核心要点

  1. 现有的PPO算法使用固定的剪切阈值，导致不同样本的信任区域宽度相同，无法反映策略更新的可靠性。
  2. 论文提出双自适应Z-Score PPO（PPO-DAZ3），通过样本依赖的剪切阈值动态调整剪切区间，利用动作置信度和归一化优势幅度。
  3. 在LunarLander-v3、CartPole-v1和Acrobot-v1三个经典控制基准上进行评估，结果显示自适应剪切在某些任务中显著提升学习效果。

📝 摘要（中文）

近端策略优化（PPO）因其稳定性和易于实现而广受欢迎，但其固定的剪切阈值使得每个训练样本的信任区域宽度相同，忽略了策略更新的可靠性。本文提出了一种自适应剪切的PPO变体，称为双自适应Z-Score PPO（PPO-DAZ3），通过样本依赖的阈值来动态调整剪切区间。该方法利用两个信号：动作置信度和归一化优势幅度，来设定每个样本的剪切区间。实验结果表明，在某些控制任务中，自适应剪切能够改善学习效果，尤其在LunarLander-v3上表现最佳。

🔬 方法详解

问题定义：现有的PPO算法在训练过程中使用固定的剪切阈值，导致所有样本的信任区域宽度相同。这种方法无法根据样本的可靠性进行调整，可能导致学习效率低下。

核心思路：本文提出的双自适应Z-Score PPO（PPO-DAZ3）通过引入样本依赖的剪切阈值，利用动作置信度和归一化优势幅度来动态调整剪切区间，从而提高策略更新的可靠性。

技术框架：PPO-DAZ3的整体架构与标准PPO相似，主要包括策略网络和价值网络的训练过程。不同之处在于剪切阈值的计算方式，采用了基于当前策略的动作概率和优势幅度的动态计算。

关键创新：最重要的创新点在于引入了两个信号来动态调整剪切区间，这与传统PPO的固定剪切阈值形成了鲜明对比，使得算法能够根据样本的特性进行更灵活的学习。

关键设计：在实现中，动作置信度是通过当前策略下选择动作的概率计算得出的，而归一化优势幅度则是通过对优势函数进行标准化处理得到的。这些设计使得剪切阈值能够更好地反映样本的学习潜力。

📊 实验亮点

在实验中，PPO-DAZ3在LunarLander-v3任务上表现最佳，相较于标准PPO，学习效率显著提升。在Acrobot-v1上，平滑优势变体PPO-AZ3S表现突出，而在CartPole-v1上，标准PPO依然保持竞争力，表明自适应剪切在更复杂的控制任务中更具优势。

🎯 应用场景

该研究的潜在应用领域包括机器人控制、游戏智能体和自动驾驶等需要高效策略学习的场景。通过动态调整剪切阈值，PPO-DAZ3能够在复杂环境中更有效地进行学习，提升智能体的决策能力和适应性，具有重要的实际价值和未来影响。

📄 摘要（原文）

Proximal Policy Optimization (PPO) remains a popular on-policy reinforcement learning algorithm owing to its stability and ease of implementation. Its clipping threshold, however, is fixed, so every training sample receives the same trust-region width regardless of how reliable the corresponding policy update is. This work examines adaptive-clipping variants of PPO in which the constant clipping parameter is replaced by sample-dependent thresholds computed from policy and return statistics. The central method, Dual-Adaptive Z-Score PPO (PPO-DAZ3), sets the clipping interval for each sample from two signals: action confidence, given by the probability of the selected action under the current policy, and update confidence, given by the normalized advantage magnitude. The rest of the standard PPO training pipeline is left unchanged. Evaluation on three classic control benchmarks (LunarLander-v3, CartPole-v1, and Acrobot-v1) indicates that adaptive clipping improves learning in some settings but not all. PPO-DAZ3 performs best on LunarLander-v3, the smooth advantage-based variant PPO-AZ3S leads on Acrobot-v1, and standard PPO stays competitive on CartPole-v1, suggesting that adaptive clipping is most beneficial on harder control tasks.