Clipping Improves Adam-Norm and AdaGrad-Norm when the Noise Is Heavy-Tailed

📄 arXiv: 2406.04443v3 📥 PDF

作者: Savelii Chezhegov, Yaroslav Klyukin, Andrei Semenov, Aleksandr Beznosikov, Alexander Gasnikov, Samuel Horváth, Martin Takáč, Eduard Gorbunov

分类: cs.LG, math.OC

发布日期: 2024-06-06 (更新: 2025-08-14)

备注: ICML 2025. 65 pages, 12 figures. Changes in V3: extended results for the methods with coordinate-wise stepsizes and new experiments

💡 一句话要点

梯度裁剪提升Adam-Norm和AdaGrad-Norm在重尾噪声下的性能

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 梯度裁剪 重尾噪声 自适应优化 AdaGrad Adam 高概率收敛 随机优化

📋 核心要点

  1. 现有AdaGrad/Adam方法在重尾噪声下高概率收敛性分析不足，可能导致性能下降。
  2. 通过理论分析证明AdaGrad/Adam在重尾噪声下收敛性差，并提出梯度裁剪来改善收敛性。
  3. 实验验证了裁剪后的AdaGrad/Adam在处理重尾噪声时优于未裁剪版本，证实了理论分析。

📝 摘要（中文）

自适应步长方法，如AdaGrad和Adam，对于训练现代深度学习模型，特别是大型语言模型至关重要。通常，这些模型中随机梯度的噪声是重尾的。梯度裁剪已被证明有助于在这种噪声下实现良好的高概率收敛。然而，尽管AdaGrad/Adam与Clip-SGD之间存在相似性，但目前对AdaGrad/Adam类型方法的高概率收敛性的理解在这种情况下是有限的。本文证明了如果噪声是重尾的，AdaGrad/Adam（及其延迟版本）可能具有较差的高概率收敛性。同时证明梯度裁剪可以解决这个问题，即针对具有重尾噪声的平滑凸/非凸随机优化，推导出AdaGrad-Norm和Adam-Norm在裁剪以及有/无延迟情况下的新的高概率收敛界，该界对置信水平具有多对数依赖性。将结果扩展到具有延迟步长的AdaGrad/Adam的情况。实验结果突出了裁剪版本的AdaGrad/Adam在处理重尾噪声方面的优越性。

🔬 方法详解

问题定义：论文主要解决在重尾噪声环境下，传统自适应优化算法如AdaGrad和Adam收敛性差的问题。现有的理论分析和实践表明，这些算法在梯度噪声具有重尾分布时，其高概率收敛性能会显著下降，导致训练不稳定或收敛速度慢。

核心思路：论文的核心思路是引入梯度裁剪（Gradient Clipping）机制来限制梯度的幅度，从而减轻重尾噪声的影响。梯度裁剪通过设置一个阈值，将超过该阈值的梯度值截断到阈值大小，有效地控制了梯度的方差，使得算法在高概率下能够更好地收敛。

技术框架：论文主要围绕AdaGrad-Norm和Adam-Norm两种自适应优化算法展开，并分别考虑了有延迟和无延迟两种步长更新策略。整体框架包括：1) 理论分析：证明未裁剪的AdaGrad/Adam在重尾噪声下的收敛性问题；2) 算法改进：引入梯度裁剪机制；3) 理论证明：推导裁剪后的AdaGrad-Norm和Adam-Norm在高概率下的收敛界；4) 实验验证：通过实验对比裁剪和未裁剪算法在重尾噪声下的性能。

关键创新：论文的关键创新在于：1) 首次从理论上证明了AdaGrad/Adam在重尾噪声下存在高概率收敛性问题；2) 提出了梯度裁剪作为一种有效的解决方案，并给出了相应的理论证明，表明裁剪后的算法具有更好的高概率收敛性；3) 将结果扩展到了带延迟步长的AdaGrad/Adam算法。

关键设计：论文的关键设计包括：1) 梯度裁剪阈值的选择：需要根据具体的噪声分布和优化问题进行调整，以达到最佳的性能；2) 延迟步长的引入：通过延迟更新步长，可以进一步提高算法的稳定性和收敛速度；3) 理论分析中，采用了合适的数学工具和技巧，推导出了裁剪后算法在高概率下的收敛界，为算法的有效性提供了理论保障。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，在重尾噪声环境下，裁剪后的AdaGrad-Norm和Adam-Norm算法显著优于未裁剪的版本。具体来说，裁剪后的算法在收敛速度和最终性能上均有明显提升，验证了理论分析的正确性。实验结果还表明，合适的裁剪阈值可以进一步提高算法的性能。

🎯 应用场景

该研究成果可广泛应用于深度学习模型的训练，尤其是在数据噪声较大或梯度具有重尾分布的场景下，如大型语言模型的训练、强化学习等。通过使用梯度裁剪的AdaGrad/Adam算法，可以提高模型的训练稳定性和收敛速度，从而提升模型的性能和泛化能力。该研究对于实际应用具有重要的指导意义。

📄 摘要（原文）

Methods with adaptive stepsizes, such as AdaGrad and Adam, are essential for training modern Deep Learning models, especially Large Language Models. Typically, the noise in the stochastic gradients is heavy-tailed for the later ones. Gradient clipping provably helps to achieve good high-probability convergence for such noises. However, despite the similarity between AdaGrad/Adam and Clip-SGD, the current understanding of the high-probability convergence of AdaGrad/Adam-type methods is limited in this case. In this work, we prove that AdaGrad/Adam (and their delayed version) can have provably bad high-probability convergence if the noise is heavy-tailed. We also show that gradient clipping fixes this issue, i.e., we derive new high-probability convergence bounds with polylogarithmic dependence on the confidence level for AdaGrad-Norm and Adam-Norm with clipping and with/without delay for smooth convex/non-convex stochastic optimization with heavy-tailed noise. We extend our results to the case of AdaGrad/Adam with delayed stepsizes. Our empirical evaluations highlight the superiority of clipped versions of AdaGrad/Adam in handling the heavy-tailed noise.