Simulating Training Spikes of Deep Neural Networks by Layer-wise Random Feature Models

📄 arXiv: 2610.13524v1 📥 PDF

作者: Ran Tian, Courtney Paquette

分类: cs.LG

发布日期: 2026-10-09

💡 一句话要点

通过层级随机特征模型模拟深度神经网络训练中的损失波动

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 深度学习 损失尖峰 大型语言模型 超参数优化 训练动态

📋 核心要点

  1. 现有方法无法有效解释和预测大型语言模型训练中的损失尖峰现象，导致训练过程不稳定。
  2. 本文提出了一种基于重尾分布输入的二次模型，构建了理论框架和模拟算法来捕捉每层的训练动态。
  3. 通过对特定Adam超参数配置的案例研究，模拟结果成功预测了损失波动，并优化了超参数调度以提升性能。

📝 摘要（中文）

在大型语言模型（LLMs）的预训练过程中，损失的间歇性“尖峰”现象在理论和实证上仍然是一个神秘的现象。本文展示了简单的二次模型如何利用重尾、幂律分布的输入来复制这些尖峰。我们引入了一个理论框架和模拟算法，以此模型来模拟深度神经网络（DNNs）每层的训练动态。在对已知会引发尖峰的Transformer LMs的Adam超参数配置进行案例研究时，我们的模拟成功预测了来自特定检查点的尖峰行为。此外，我们从观察到的指标中推导出合适的β2调度，这在实证上提高了性能。

🔬 方法详解

问题定义：本文旨在解决大型语言模型训练过程中损失尖峰现象的模拟与理解。现有方法在理论和实证上对这一现象的解释不足，导致训练过程中的不稳定性。

核心思路：论文的核心思路是利用简单的二次模型，结合重尾、幂律分布的输入，来模拟深度神经网络每层的训练动态。这种设计能够有效捕捉到损失的间歇性尖峰现象。

技术框架：整体架构包括理论框架的构建和模拟算法的实现。主要模块包括输入数据的生成、模型的训练动态模拟以及损失波动的预测。

关键创新：最重要的技术创新在于提出了使用重尾分布的二次模型来模拟训练动态，这与传统方法的线性模型有本质区别，能够更真实地反映训练过程中的复杂行为。

关键设计：在实验中，设置了特定的Adam超参数配置，特别是将β2设置接近1，并通过观察指标推导出合适的β2调度，以此来优化模型性能。具体的损失函数和网络结构细节在论文中进行了详细描述。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果表明，所提出的模拟方法能够成功预测损失的尖峰行为，尤其是在特定的Adam超参数配置下，模拟结果与实际训练过程高度一致。此外，通过优化β2调度，模型性能得到了实证上的显著提升，具体提升幅度未在摘要中给出。

🎯 应用场景

该研究的潜在应用领域包括大型语言模型的训练优化、深度学习模型的动态分析以及超参数调度策略的改进。通过更好地理解损失尖峰现象，研究者可以设计出更稳定和高效的训练流程，从而提升模型的整体性能和可靠性。

📄 摘要（原文）

Intermittent ``spikes'' in loss, during the pre-training of Large Language Models (LLMs), remains a mysterious phenomenon both theoretically and empirically. In this paper, we show that simple quadratic models with heavy-tailed, power-law distributed inputs can replicate these spikes. We introduce a theoretical framework and simulation algorithm to model per-layer training dynamics of Deep Neural Networks (DNNs), using such quadratic models. In a case study on an Adam hyperparameter configuration (where $β_2$ is set close to $1$) known to induce spikes in Transformer LMs, our simulation successfully predicts bumps indicating spiky behavior from a given checkpoint. Furthermore, we derive an appropriate $β_2$ schedule from observed metrics, which empirically improves performance.