Why and When Deep is Better than Shallow: An Implementation-Agnostic State-Transition View of Depth Supremacy
作者: Sho Sonoda, Yuka Hashimoto, Isao Ishikawa, Masahiro Ikeda
分类: cs.LG, math.DS, stat.ML
发布日期: 2025-05-21 (更新: 2025-11-04)
💡 一句话要点
提出深度模型的状态转移视角以解决深度优越性问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 深度学习 偏差-方差分解 状态转移 泛化能力 神经网络
📋 核心要点
- 现有方法未能有效解释深度模型在特定场景下的优越性，缺乏统一的理论框架。
- 论文提出了一种与实现无关的抽象状态转移视角，通过偏差-方差分解揭示深度模型的优势。
- 研究结果表明，在EL模式下，深度模型通常能实现更低的泛化误差，尤其适用于复杂的概念类。
📝 摘要（中文）
本文探讨了深度模型为何及何时优于浅层模型，提出了一种与网络实现无关的框架。通过将深度模型视为作用于一般度量空间的抽象状态转移半群，作者证明了偏差-方差分解定理，表明方差仅依赖于抽象深度网络而与实现无关。此外，研究了方差随深度的多项式或对数增长的条件，识别出四种典型的偏差-方差权衡模式，并给出了显式的最优深度k*。在EL模式下，达到最低的泛化误差界限，解释了深度模型的优势，尤其在迭代或层次概念类中表现突出。
🔬 方法详解
问题定义：本文旨在解决深度模型为何及何时优于浅层模型的问题。现有方法缺乏统一的理论框架，无法有效解释深度模型的优势。
核心思路：论文通过将深度模型视为作用于一般度量空间的抽象状态转移半群，提出了一种与网络实现无关的理论框架，揭示了深度模型的偏差-方差特性。
技术框架：整体架构包括偏差-方差分解、状态转移半群的度量熵分析，以及不同偏差-方差权衡模式的识别。主要模块包括理论证明、条件分析和最优深度的推导。
关键创新：最重要的创新在于提出了与实现无关的深度模型分析框架，证明了方差仅依赖于抽象深度网络，而与具体实现无关，从而为深度模型的优势提供了理论支持。
关键设计：论文中设计了偏差和方差的分解方法，分析了方差随深度的增长条件，并识别了四种偏差-方差权衡模式，给出了显式的最优深度k*。
🖼️ 关键图片
📊 实验亮点
实验结果表明，在EL模式下，深度模型的泛化误差显著低于浅层模型，具体表现为在多项式或对数增长的方差条件下，深度模型的最优深度k*通常大于1，验证了深度模型的优越性。
🎯 应用场景
该研究的潜在应用领域包括深度学习模型的设计与优化，尤其是在需要处理复杂概念的任务中，如神经常微分方程、扩散模型和链式推理等。通过提供理论支持，研究可帮助开发更高效的深度学习算法，提升模型的泛化能力。
📄 摘要（原文）
Why and when is deep better than shallow? We answer this question in a framework that is agnostic to network implementation. We formulate a deep model as an abstract state-transition semigroup acting on a general metric space, and separate the implementation (e.g., ReLU nets, transformers, and chain-of-thought) from the abstract state transition. We prove a bias-variance decomposition in which the variance depends only on the abstract depth-$k$ network and not on the implementation (Theorem 1). We further split the bounds into output and hidden parts to tie the depth dependence of the variance to the metric entropy of the state-transition semigroup (Theorem 2). We then investigate implementation-free conditions under which the variance grow polynomially or logarithmically with depth (Section 4). Combining these with exponential or polynomial bias decay identifies four canonical bias-variance trade-off regimes (EL/EP/PL/PP) and produces explicit optimal depths $k^\ast$. Across regimes, $k^\ast>1$ typically holds, giving a rigorous form of depth supremacy. The lowest generalization error bound is achieved under the EL regime (exp-decay bias + log-growth variance), explaining why and when deep is better, especially for iterative or hierarchical concept classes such as neural ODEs, diffusion/score-matching models, and chain-of-thought reasoning.