The Devil is in the Condition Numbers: Why is GLU Better than non-GLU Structure?

📄 arXiv: 2605.20749v1 📥 PDF

作者: Xingyu Lyu, Qianqian Xu, Zhiyong Yang, Peisong Wen, Qingming Huang

分类: cs.LG, cs.AI

发布日期: 2026-05-20

备注: Accepted by ICML 2026

💡 一句话要点

分析GLU结构优势：通过神经正切核视角揭示其更优的条件数和训练加速特性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 门控线性单元 神经正切核 条件数 训练加速 大型语言模型

📋 核心要点

  1. 现有大型语言模型中GLU结构优于非GLU结构，但其内在原因尚不明确，缺乏理论支撑。
  2. 论文通过神经正切核（NTK）分析，揭示GLU结构通过重塑NTK谱，降低条件数，加速模型训练。
  3. 实验表明，GLU主要优势在于加速优化，而非减少泛化差距，在ViT和GPT-2等模型上验证了这一结论。

📝 摘要（中文）

门控线性单元（GLU）及其变体在现代开源大型语言模型架构中被广泛采用，并且始终优于非门控结构，但这种优势的根本原因尚不清楚。本文通过分析神经正切核（NTK）机制下的双层网络来研究GLU。分析表明，GLU结构重塑了NTK谱，从而减小了条件数，并形成了更紧凑的特征值分布。在此基础上，进一步分析了由此产生的训练动态，并展示了重塑后的谱如何加速GLU模型的收敛，包括在GLU和非GLU模型之间观察到的特征性损失交叉现象。最后，经验观察表明，GLU在减少各种模型（包括ViT和GPT-2）的泛化差距方面的作用有限，这表明其主要优势在于加速优化，而不是减少泛化差距。

🔬 方法详解

问题定义：论文旨在解释为什么门控线性单元（GLU）在大型语言模型中表现优于非门控结构。现有方法缺乏对GLU优势的理论解释，无法明确其加速训练和提升性能的根本原因。因此，需要深入理解GLU结构对模型训练动态和泛化能力的影响。

核心思路：论文的核心思路是通过神经正切核（NTK）理论分析GLU结构对模型训练的影响。具体来说，研究GLU如何改变NTK谱，从而影响模型的条件数和特征值分布。通过分析这些变化，揭示GLU加速训练的机制。

技术框架：论文的技术框架主要包括以下几个部分：1) 使用NTK理论分析双层网络，分别研究GLU和非GLU结构下的NTK谱。2) 分析NTK谱的改变如何影响模型的条件数和特征值分布。3) 基于NTK谱的分析结果，推导GLU和非GLU模型的训练动态，解释GLU加速收敛的原因。4) 通过实验验证理论分析的正确性，并评估GLU在不同模型上的性能表现。

关键创新：论文的关键创新在于将NTK理论应用于分析GLU结构的优势，揭示了GLU通过重塑NTK谱来降低条件数，从而加速模型训练的机制。此外，论文还观察到GLU和非GLU模型之间存在损失交叉现象，并给出了理论解释。

关键设计：论文的关键设计包括：1) 使用双层网络简化NTK分析，使其更易于理解和推导。2) 通过计算NTK矩阵的特征值和条件数，量化GLU结构对NTK谱的影响。3) 基于NTK谱的分析结果，推导GLU和非GLU模型的训练动态方程，并分析其收敛速度。4) 在ViT和GPT-2等模型上进行实验，验证GLU的加速训练效果和泛化能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

研究表明，GLU结构能够显著降低NTK矩阵的条件数，使得特征值分布更加紧凑，从而加速模型训练。实验观察到GLU和非GLU模型之间存在损失交叉现象，进一步验证了GLU的加速训练效果。然而，GLU在减少泛化差距方面的作用有限，表明其主要优势在于优化而非泛化。

🎯 应用场景

该研究成果可应用于指导新型神经网络架构的设计，特别是在需要快速训练和高效优化的场景下，例如大型语言模型的预训练和微调。通过理解GLU的优势，可以设计出更高效的门控机制，从而提升模型的训练效率和性能。

📄 摘要（原文）

Gated Linear Units (GLU) and their variants are widely adopted in modern open-source large language model architectures and consistently outperform their non-gated counterparts, yet the underlying reasons for this advantage remain unclear. In this work, we study GLU by analyzing two-layer networks in the neural tangent kernel (NTK) regime. Our analysis reveals that the GLU structure reshapes the NTK spectrum, leading to a smaller condition number and a more compact eigenvalue distribution. Building on this finding, we further analyze the resulting training dynamics and show how the reshaped spectrum leads to faster convergence of GLU models, including a characteristic loss-crossing phenomenon observed between GLU and non-GLU models. Finally, we empirically observe that GLU has limited impact in reducing the generalization gap on various models, including ViT and GPT-2, suggesting that its primary benefit lies in accelerating optimization rather than reducing the generalization gap.