Why Do We Need Weight Decay in Modern Deep Learning?
作者: Francesco D'Angelo, Maksym Andriushchenko, Aditya Varre, Nicolas Flammarion
分类: cs.LG
发布日期: 2023-10-06 (更新: 2024-11-04)
🔗 代码/项目: GITHUB
💡 一句话要点
探讨现代深度学习中权重衰减的必要性与作用
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 权重衰减 深度学习 优化动态 隐式正则化 偏差-方差权衡 视觉任务 大型语言模型
📋 核心要点
- 现有方法对权重衰减在深度学习中的作用理解不足，尤其是在优化动态方面。
- 论文提出权重衰减在现代深度学习中并非作为显式正则化器，而是通过改变训练动态来提升模型性能。
- 研究表明，权重衰减在视觉任务和大型语言模型中均能有效降低训练损失，提高训练稳定性。
📝 摘要（中文）
权重衰减是一种广泛应用于训练先进深度网络的技术，涵盖从图像分类到大型语言模型。尽管其使用广泛且在经典文献中被广泛研究，但在深度学习中的作用仍然不够明确。本文强调，权重衰减在现代深度学习中的角色与经典学习理论中的正则化效应不同。我们展示了在视觉任务中，权重衰减如何通过损失稳定机制增强SGD的隐式正则化，而在几乎一次训练的语言模型中，权重衰减如何平衡随机优化中的偏差-方差权衡，从而降低训练损失并提高训练稳定性。总体而言，我们提出了一个统一的视角，认为权重衰减并不是作为显式正则化器有用，而是以一种理想的方式改变训练动态。
🔬 方法详解
问题定义：本文旨在探讨权重衰减在现代深度学习中的作用，尤其是其在优化动态中的影响。现有研究主要集中于权重衰减的正则化效果，但在深度学习中这一点尚不明确。
核心思路：论文提出权重衰减并非作为显式正则化器，而是通过损失稳定机制增强SGD的隐式正则化效果，从而改善训练过程中的动态表现。
技术框架：研究首先分析了在视觉任务中使用多次SGD训练时权重衰减的影响，然后探讨了在大型语言模型中几乎一次训练的情况下权重衰减的作用。主要模块包括优化动态分析和偏差-方差权衡的讨论。
关键创新：最重要的创新点在于提出了权重衰减在现代深度学习中改变训练动态的观点，而非仅仅作为正则化工具。这一视角与传统方法的本质区别在于其强调了训练过程中的动态调整。
关键设计：在实验中，权重衰减的参数设置和损失函数设计被精心调整，以确保在不同任务中都能有效发挥作用。具体的网络结构和训练策略也被详细描述，以支持研究的结论。
🖼️ 关键图片
📊 实验亮点
实验结果表明，权重衰减在视觉任务中通过损失稳定机制显著增强了SGD的隐式正则化效果，而在大型语言模型中则有效降低了训练损失，提高了训练稳定性。具体性能提升幅度和对比基线数据在论文中有详细展示。
🎯 应用场景
该研究的潜在应用领域包括计算机视觉和自然语言处理等多个深度学习任务。通过深入理解权重衰减的作用，研究者可以更有效地设计和优化深度学习模型，从而提升模型的性能和稳定性，具有重要的实际价值和未来影响。
📄 摘要（原文）
Weight decay is a broadly used technique for training state-of-the-art deep networks from image classification to large language models. Despite its widespread usage and being extensively studied in the classical literature, its role remains poorly understood for deep learning. In this work, we highlight that the role of weight decay in modern deep learning is different from its regularization effect studied in classical learning theory. For deep networks on vision tasks trained with multipass SGD, we show how weight decay modifies the optimization dynamics enhancing the ever-present implicit regularization of SGD via the loss stabilization mechanism. In contrast, for large language models trained with nearly one-epoch training, we describe how weight decay balances the bias-variance tradeoff in stochastic optimization leading to lower training loss and improved training stability. Overall, we present a unifying perspective from ResNets on vision tasks to LLMs: weight decay is never useful as an explicit regularizer but instead changes the training dynamics in a desirable way. The code is available at https://github.com/tml-epfl/why-weight-decay