Towards Quantifying the Hessian Structure of Neural Networks

📄 arXiv: 2505.02809v2 📥 PDF

作者: Zhaorui Dong, Yushun Zhang, Jianfeng Yao, Ruoyu Sun

分类: cs.LG, math.OC, stat.ML

发布日期: 2025-05-05 (更新: 2025-09-21)

💡 一句话要点

揭示神经网络Hessian矩阵近块对角结构的成因：架构与训练的双重作用

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: Hessian矩阵 神经网络 随机矩阵理论 块对角结构 大型语言模型

📋 核心要点

  1. 现有研究缺乏对神经网络Hessian矩阵近块对角结构的理论解释，阻碍了对网络性质的深入理解。
  2. 论文提出Hessian结构由架构决定的“静态力”和训练产生的“动态力”共同作用，并重点分析了静态力的影响。
  3. 通过随机矩阵理论，论文证明类别数$C$是驱动Hessian矩阵呈现近块对角结构的关键因素，为理解大型语言模型提供了新视角。

📝 摘要（中文）

经验研究表明，神经网络（NNs）的Hessian矩阵呈现出近似块对角结构，但其理论基础尚不明确。本文揭示了这种Hessian结构源于两种力量的混合：一种是根植于架构设计的“静态力”，另一种是源于训练的“动态力”。然后，我们对随机初始化时的“静态力”进行了严格的理论分析。我们研究了用于分类任务的线性模型和单隐层网络，类别数为$C$。通过利用随机矩阵理论，我们比较了对角和非对角Hessian块的极限分布，发现块对角结构随着$C$的增大而出现。我们的研究结果表明，$C$是近块对角结构的主要驱动因素之一。这些结果可能为大型语言模型（LLMs）的Hessian结构提供新的视角，因为LLMs通常在超过$10^4$的大$C$下运行。

🔬 方法详解

问题定义：神经网络的Hessian矩阵在经验上呈现出近块对角结构，但缺乏理论解释。现有的研究未能充分解释这种结构的成因，以及哪些因素会影响这种结构的强度。理解Hessian矩阵的结构对于分析神经网络的稳定性和泛化能力至关重要。

核心思路：论文将Hessian矩阵的结构分解为两种力量的共同作用：静态力（由网络架构决定）和动态力（由训练过程决定）。论文重点研究了静态力，即在随机初始化状态下，网络架构如何影响Hessian矩阵的结构。核心思路是利用随机矩阵理论分析不同Hessian块的极限分布，从而揭示块对角结构的成因。

技术框架：论文的技术框架主要包括以下几个步骤：1) 针对线性模型和单隐层神经网络，推导其Hessian矩阵的表达式。2) 利用随机矩阵理论，计算Hessian矩阵对角块和非对角块的极限分布。3) 比较不同块的极限分布，分析类别数$C$对块对角结构的影响。4) 通过理论分析，证明当$C$足够大时，Hessian矩阵呈现出近块对角结构。

关键创新：论文的关键创新在于：1) 提出了“静态力”和“动态力”的概念，将Hessian结构的成因分解为架构和训练两个方面。2) 利用随机矩阵理论，对随机初始化状态下的Hessian矩阵进行了严格的理论分析。3) 揭示了类别数$C$是驱动Hessian矩阵呈现近块对角结构的关键因素，为理解大型语言模型的Hessian结构提供了新的视角。与现有方法相比，该论文提供了更深入的理论解释，并指出了关键的影响因素。

关键设计：论文的关键设计包括：1) 选择线性模型和单隐层神经网络作为研究对象，简化了分析的复杂度，同时保留了神经网络的基本特征。2) 利用随机矩阵理论中的自由概率理论，计算Hessian矩阵块的极限分布。3) 通过比较对角块和非对角块的极限分布，量化了块对角结构的强度。4) 假设网络权重服从高斯分布，简化了随机矩阵理论的计算。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文的主要实验结果是，通过理论分析证明了类别数$C$是驱动Hessian矩阵呈现近块对角结构的关键因素。具体来说，当$C$足够大时，Hessian矩阵的对角块和非对角块的极限分布存在显著差异，从而导致了块对角结构的出现。该结果为理解大型语言模型的Hessian结构提供了新的视角。

🎯 应用场景

该研究成果可应用于理解和优化大型语言模型（LLMs）。通过理解Hessian矩阵的结构，可以更好地分析LLMs的稳定性和泛化能力，并设计更有效的训练方法。此外，该研究还可以为神经网络架构设计提供指导，例如，通过调整网络结构来增强Hessian矩阵的块对角结构，从而提高网络的性能。

📄 摘要（原文）

Empirical studies reported that the Hessian matrix of neural networks (NNs) exhibits a near-block-diagonal structure, yet its theoretical foundation remains unclear. In this work, we reveal that the reported Hessian structure comes from a mixture of two forces: a ``static force'' rooted in the architecture design, and a ''dynamic force'' arisen from training. We then provide a rigorous theoretical analysis of ''static force'' at random initialization. We study linear models and 1-hidden-layer networks for classification tasks with $C$ classes. By leveraging random matrix theory, we compare the limit distributions of the diagonal and off-diagonal Hessian blocks and find that the block-diagonal structure arises as $C$ becomes large. Our findings reveal that $C$ is one primary driver of the near-block-diagonal structure. These results may shed new light on the Hessian structure of large language models (LLMs), which typically operate with a large $C$ exceeding $10^4$.