A Neural Scaling Law from Lottery Ticket Ensembling

📄 arXiv: 2310.02258v2 📥 PDF

作者: Ziming Liu, Max Tegmark

分类: cs.LG, cs.AI, physics.data-an, stat.ML

发布日期: 2023-10-03 (更新: 2024-02-02)

备注: 14 pages, 13 figures. Note from authors: the theory in this paper is questionable; we are trying our best to fix it. Empirical results still stand

💡 一句话要点

提出彩票票据集成方法以揭示神经网络缩放定律

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 神经网络 缩放定律 彩票票据 集成学习 统计物理 大型语言模型 方差减少

📋 核心要点

  1. 现有的神经网络缩放定律在某些情况下表现良好，但在简单问题上却出现了不同的缩放行为，揭示了理论的局限性。
  2. 论文提出通过彩票票据集成的方式来解释神经网络的缩放定律，认为更宽的网络能够有效减少输出方差。
  3. 研究表明，彩票票据的中心极限定理能够解释$N^{-1}$的缩放定律，为大型语言模型的设计提供了新视角。

📝 摘要（中文）

神经网络缩放定律（NSL）指的是模型性能随着规模的增加而提升的现象。Sharma和Kaplan通过近似理论分析NSL，预测均方误差损失以$N^{-α}$的形式衰减，其中$α=4/d$，$N$为模型参数数量，$d$为内在输入维度。然而，我们发现简单的一维问题$y=x^2$表现出与其预测不同的缩放定律（$α=1$）。通过对神经网络的深入分析，我们发现新的缩放定律源于彩票票据集成：更宽的网络通常拥有更多的“彩票票据”，这些票据通过集成来减少输出的方差。我们通过对单个神经网络的机制性解释和统计研究来支持这一集成机制，并将$N^{-1}$的缩放定律归因于彩票票据的中心极限定理。最后，我们讨论了其对大型语言模型和学习的统计物理理论的潜在影响。

🔬 方法详解

问题定义：本论文旨在解决现有神经网络缩放定律在某些简单问题上表现不一致的挑战，尤其是$y=x^2$问题的缩放行为与理论预测不符。

核心思路：论文的核心思路是通过彩票票据集成来解释神经网络的缩放定律，认为更宽的网络能够拥有更多的有效票据，从而降低输出的方差。

技术框架：整体架构包括对单个神经网络的机制性分析和统计研究，重点在于彩票票据的生成与集成过程。主要模块包括网络宽度的调整、彩票票据的识别与集成方法。

关键创新：最重要的技术创新在于将彩票票据的集成机制与神经网络的缩放定律联系起来，提出了不同于传统理论的$N^{-1}$缩放定律，揭示了网络宽度与性能之间的关系。

关键设计：在实验中，采用了不同宽度的网络结构，设置了相应的损失函数以评估输出方差，并通过统计方法验证彩票票据的有效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，在简单的1D问题上，模型的均方误差损失以$N^{-1}$的形式衰减，相较于传统理论的$N^{-4/d}$，表现出显著的差异。这一发现为神经网络的设计提供了新的思路，尤其是在网络宽度的选择上。

🎯 应用场景

该研究的潜在应用领域包括大型语言模型的设计与优化，尤其是在需要处理复杂输入数据时。通过理解彩票票据的集成机制，可以为模型的规模扩展提供理论支持，进而提升模型的性能和稳定性。

📄 摘要（原文）

Neural scaling laws (NSL) refer to the phenomenon where model performance improves with scale. Sharma & Kaplan analyzed NSL using approximation theory and predict that MSE losses decay as $N^{-α}$, $α=4/d$, where $N$ is the number of model parameters, and $d$ is the intrinsic input dimension. Although their theory works well for some cases (e.g., ReLU networks), we surprisingly find that a simple 1D problem $y=x^2$ manifests a different scaling law ($α=1$) from their predictions ($α=4$). We opened the neural networks and found that the new scaling law originates from lottery ticket ensembling: a wider network on average has more "lottery tickets", which are ensembled to reduce the variance of outputs. We support the ensembling mechanism by mechanistically interpreting single neural networks, as well as studying them statistically. We attribute the $N^{-1}$ scaling law to the "central limit theorem" of lottery tickets. Finally, we discuss its potential implications for large language models and statistical physics-type theories of learning.