Optimizer-dependent training dynamics converge to the same one-third optimal data scaling

📄 arXiv: 2609.37745v1 📥 PDF

作者: Hyunseok Lee, Mihir Basil, Yizhou Liu, Jeff Gore

分类: cs.LG

发布日期: 2026-09-29

💡 一句话要点

提出优化器依赖的训练动态以实现统一的1/3最优数据缩放

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 神经网络缩放 优化器依赖 动态指数 最优数据指数 深度学习训练 损失函数分析 在线教师-学生模型

📋 核心要点

  1. 现有方法未能充分考虑不同优化器对训练动态的影响，导致对损失下降速度的理解不够全面。
  2. 论文通过分离动态指数和最优数据指数，提出了一个新的框架来分析不同优化器的训练动态。
  3. 实验结果显示，尽管不同优化器的动态指数不同，但最优数据指数在所有优化器中均收敛至1/3，验证了理论模型的有效性。

📝 摘要（中文）

神经网络缩放是大型语言模型中的核心概念，最近的研究提出了学习峰值分布时出现的1/3指数。本文区分了两个不同的指数：单次训练过程中的损失下降速度（动态指数）和随着数据集大小D的最优损失下降速度（最优数据指数）。研究表明，动态指数依赖于优化器，而最优数据指数在不同优化器中收敛至1/3。通过在线教师-学生模型，损失被分解为径向和切向的增长，分别以动态指数α_r和α_t衰减。在SGD下，两者接近1/3，而在Adam下则分离。尽管优化器影响学习速率，但在最佳调优下，损失均返回至D^{-1/3}。

🔬 方法详解

问题定义：本文旨在解决不同优化器在神经网络训练中对损失下降速度影响的理解不足，现有方法未能区分动态指数和最优数据指数。

核心思路：通过分析动态指数和最优数据指数，论文提出了一个新的框架，揭示了不同优化器在训练过程中的表现差异，强调了优化器对学习速率的影响。

技术框架：研究采用在线教师-学生模型，损失被分解为径向增长和切向对齐，分别以动态指数α_r和α_t衰减。通过对比不同优化器的表现，分析其对损失的影响。

关键创新：最重要的创新在于区分了动态指数和最优数据指数，并提出了一个统一的动态指数关系，2α_r + α_t = 1，确保最优数据指数固定为1/3。

关键设计：在实验中，使用了七种优化器，包括SGD和Adam，分别调优学习率，观察损失的变化规律，发现SGD的动态指数接近1/3，而Adam的动态指数则分别为α_r ≈ 0.48和α_t ≈ 0.08。通过这些设计，验证了理论模型的有效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，在七种优化器中，动态指数与理论模型一致，最优损失包络线均符合D^{-1/3}的规律。特别是在SGD下，动态指数接近1/3，而在Adam下则表现出明显的分离，验证了优化器对训练动态的影响。

🎯 应用场景

该研究的潜在应用领域包括大型语言模型的训练和优化，尤其是在选择优化器和调整学习率时。通过理解不同优化器的训练动态，可以更有效地设计和优化深度学习模型，提高模型的训练效率和性能。

📄 摘要（原文）

Neural scaling, in which loss falls as a power law with training, is central to large language models, and one recent proposal is that a $1/3$ exponent emerges from learning peaked distributions. That account describes SGD, but models in practice are trained with adaptive optimizers. Here we separate two exponents the $1/3$ account does not distinguish: how fast the loss falls with training steps along a single run, and how fast the optimally tuned loss falls with dataset size $D$. We show that the first, a dynamic exponent, is optimizer-specific while the second, an optimal data exponent, converges to $1/3$ across optimizers. In an online teacher-student model we decompose the loss into norm growth (radial) and alignment toward the teacher direction (tangential), each decaying as a power law with dynamic exponents $α_{r}$ and $α_{t}$. Under SGD, both are close to $1/3$, so the data exponent is also $1/3$ across different learning rates. Under Adam the two separate: $α_{r} \simeq 0.48$ but $α_{t} \simeq 0.08$. Since the total loss is minimized when these two parts are balanced, the optimal learning rate is optimizer-dependent: $D$-independent for SGD but falls with $D$ for Adam. Yet tuned to that optimum, the loss returns to $D^{-1/3}$ for both. A stochastic-dynamics analysis explains why: the optimizers can trade decay speed between the two channels, but they all fall on a single dynamic exponent relation, $2α_{r}+ α_{t} = 1$, which fixes the optimal data exponent at $1/3$. Across seven optimizers, including Muon, the measured exponents are consistent with this relation, and the optimal-loss envelopes agree with $D^{-1/3}$ across them. The optimizer sets how fast a model learns per step; tuned optimally, it changes the prefactor but not the rate at which loss falls per sample.