Mpemba Effect in Large-Language Model Training Dynamics: A Minimal Analysis of the Valley-River model

📄 arXiv: 2507.04206v1 📥 PDF

作者: Sibei Liu, Zhijian Hu

分类: cs.AI

发布日期: 2025-07-06

💡 一句话要点

基于Mpemba效应分析LLM训练动态，优化学习率Plateau策略

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 学习率调度 Mpemba效应 训练动态 优化算法

📋 核心要点

  1. 现有LLM训练的学习率调度策略缺乏理论支撑，平台期高度和衰减策略的选择依赖经验。
  2. 论文利用Mpemba效应，将训练动态类比为热力学系统，解释了预热和高平台期的必要性。
  3. 研究表明存在最佳平台期学习率，可加速衰减阶段的收敛，并推导了解析条件和衰减动态。

📝 摘要（中文）

大型语言模型（LLM）训练中的学习率（LR）调度通常遵循经验模板：预热（warm-up）、恒定平台期/稳定阶段（constant plateau/stable phase）和衰减（decay）（WSD）。然而，这种策略的机制解释仍未被充分探索，平台期高度和衰减计划的选择很大程度上是启发式的。本文通过Mpemba效应——一种较热的系统在淬火到同一浴中时比较冷的系统冷却得更快的现象——将训练动态与热力学类比联系起来。我们分析了一类“谷-河”损失景观，其中尖锐的（谷）方向快速达到平衡，而平坦的（河）方向控制着全局下降。Mpemba效应解释了预热阶段的必要性，并促使采用较高的平台期（而不是较低的平台期）来加速衰减期间的损失减少。我们表明，对于某些损失景观，存在一个最佳平台期学习率——“强Mpemba点”——在该点，最慢的模式消失，从而在衰减阶段实现更快的收敛。我们推导了其存在的解析条件，并估计了保持Mpemba优势所需的衰减动态。我们的最小模型和分析为基于平台期的调度器提供了原则性的理由，并为以最小的超参数扫描调整LLM中的LR提供了指导。

🔬 方法详解

问题定义：现有大型语言模型训练的学习率调度策略，如预热、平台期和衰减（WSD），缺乏明确的理论解释。平台期的高度和衰减策略的选择主要依赖于经验，需要大量的超参数搜索，效率较低。因此，如何从理论上理解并优化学习率调度策略是一个关键问题。

核心思路：论文的核心思路是将LLM的训练过程类比为热力学系统中的冷却过程，并引入Mpemba效应进行分析。Mpemba效应是指在特定条件下，初始温度较高的系统比初始温度较低的系统更快达到平衡。通过这种类比，论文试图解释为什么预热阶段和较高的平台期学习率能够加速LLM的训练过程。

技术框架：论文构建了一个“谷-河”损失景观模型，其中“谷”代表损失函数中曲率较大的方向，对应于快速收敛的模式；“河”代表曲率较小的方向，对应于慢速收敛的模式。论文分析了在该损失景观下，不同学习率对训练动态的影响。整体框架包括：1) 构建“谷-河”损失景观模型；2) 利用Mpemba效应分析训练动态；3) 推导最佳平台期学习率的解析条件；4) 估计保持Mpemba优势所需的衰减动态。

关键创新：论文的关键创新在于将Mpemba效应引入到LLM训练动态的分析中，并提出了“强Mpemba点”的概念。通过这种类比，论文为基于平台期的学习率调度器提供了理论依据，并为优化学习率提供了新的思路。与现有方法相比，该方法能够更有效地选择学习率，减少超参数搜索的成本。

关键设计：论文的关键设计包括：1) “谷-河”损失景观的构建，通过控制“谷”和“河”方向的曲率来模拟不同模式的收敛速度；2) 基于Mpemba效应的训练动态分析，通过分析不同初始温度（学习率）下的冷却速度来优化学习率；3) “强Mpemba点”的定义，即最慢模式消失的学习率，该点能够实现更快的收敛；4) 衰减动态的估计，确保在衰减阶段仍然能够保持Mpemba优势。

📊 实验亮点

论文推导了“强Mpemba点”存在的解析条件，并估计了保持Mpemba优势所需的衰减动态。该研究为基于平台期的学习率调度器提供了理论依据，并为以最小的超参数扫描调整LLM中的LR提供了指导，有望显著提升LLM的训练效率。

🎯 应用场景

该研究成果可应用于大型语言模型的训练优化，通过理论指导学习率的调整，减少超参数搜索成本，加速模型收敛。该方法具有广泛的应用前景，可以推广到其他深度学习模型的训练中，提高训练效率和模型性能。

📄 摘要（原文）

Learning rate (LR) schedules in large language model (LLM) training often follow empirical templates: warm-up, constant plateau/stable phase, and decay (WSD). However, the mechanistic explanation for this strategy remains underexplored, and the choice of plateau height and decay schedule is largely heuristic. In this paper, we connect training dynamics to a thermodynamic analogy via the Mpemba effect - a phenomenon in which a hotter system cools faster than a colder one when quenched into the same bath. We analyze a class of "valley-river" loss landscapes, where sharp (valley) directions equilibrate quickly, while flatter (river) directions govern global descent. The Mpemba effect provides an explanation for the necessity of the warm-up phase and motivates a high plateau - rather than a low one - for accelerating loss decrease during decay. We show that for certain loss landscapes, there exists an optimal plateau learning rate - the "strong Mpemba point" - at which the slowest mode vanishes, resulting in faster convergence during the decay phase. We derive analytical conditions for its existence and estimate decay dynamics required to preserve the Mpemba advantage. Our minimal model and analysis offer a principled justification for plateau-based schedulers and provide guidance for tuning LR in LLMs with minimal hyperparameter sweep.