What Affects the Effective Depth of Large Language Models?

📄 arXiv: 2512.14064v1 📥 PDF

作者: Yi Hu, Cai Zhou, Muhan Zhang

分类: cs.CL

发布日期: 2025-12-16

🔗 代码/项目: GITHUB

💡 一句话要点

研究揭示大语言模型有效深度受限，提出提升层利用率的研究方向

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 有效深度 层利用率 模型压缩 模型剪枝

📋 核心要点

  1. 现有大语言模型深度增加带来收益递减，未能有效利用所有层进行计算。
  2. 通过分析模型在不同规模、训练方式和任务难度下的表现，研究有效深度变化。
  3. 实验表明模型有效深度比例稳定，推理能力提升源于长上下文而非更深层计算。

📝 摘要（中文）

大型语言模型（LLM）的扩展趋势强调增加模型深度，但随着层数的增加，性能提升逐渐减小。先前的工作引入了“有效深度”的概念，认为更深的模型未能充分利用其层进行有意义的计算。本文在此基础上，系统地研究了有效深度如何随模型规模、训练类型和任务难度而变化。首先，分析了Qwen-2.5系列模型（1.5B-32B）的行为，发现有效层数随模型大小而增加，但有效深度比率保持稳定。此外，基础模型和相应的长上下文CoT模型之间的比较表明，有效深度没有增加，这表明推理能力的提高源于更长的上下文，而不是更深的单token计算。更进一步，对不同难度的任务进行评估表明，模型不会动态地使用更多层来解决更难的问题。研究结果表明，当前的LLM在不同规模、训练范式和不同难度的任务中都未能充分利用可用的深度，这为提高LLM的层利用率、模型剪枝和提前退出等研究方向提供了机会。代码已发布在https://github.com/AheadOFpotato/what_affects_effective_depth。

🔬 方法详解

问题定义：论文旨在研究大型语言模型（LLM）的有效深度问题。现有LLM虽然层数很多，但并非所有层都对最终的预测结果有贡献，存在层利用率不足的问题。这导致模型规模增大，计算成本增加，但性能提升却不明显。因此，如何提高LLM的层利用率是一个重要的研究方向。

核心思路：论文的核心思路是通过实验分析不同因素（模型规模、训练类型、任务难度）对LLM有效深度的影响。通过观察模型在不同条件下的行为，来理解LLM的层利用率瓶颈，并为后续的研究提供指导。具体来说，论文关注的是有效深度与模型规模、训练方式（长上下文训练）和任务难度的关系。

技术框架：论文采用实证研究的方法，主要分为以下几个阶段： 1. 模型选择：选择Qwen-2.5系列模型（1.5B-32B）作为研究对象，涵盖不同规模的LLM。 2. 数据准备：使用不同难度的任务数据集，以及基础模型和长上下文CoT模型。 3. 有效深度评估：采用某种有效深度评估指标（论文中未明确说明具体方法，但可以推测是基于层输出的某种度量），计算模型在不同层上的有效深度。 4. 结果分析：分析有效深度与模型规模、训练类型和任务难度之间的关系，得出结论。

关键创新：论文的关键创新在于系统性地研究了影响LLM有效深度的因素。虽然“有效深度”的概念之前已有提出，但本文首次针对不同模型规模、训练方式和任务难度进行了全面的实验分析，揭示了现有LLM在层利用率方面的不足。这为后续的研究提供了重要的实验依据和研究方向。

关键设计：论文的关键设计在于实验设置，通过对比不同规模的模型、不同训练方式的模型（基础模型 vs 长上下文CoT模型）以及在不同难度任务上的表现，来分析有效深度的变化。具体的参数设置、损失函数、网络结构等技术细节未在摘要中提及，需要查阅原文才能了解。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，虽然有效层数随模型大小增加，但有效深度比率保持稳定。长上下文CoT模型并没有增加有效深度，推理能力的提升主要源于更长的上下文。模型不会动态地使用更多层来解决更难的问题。这些发现表明，现有LLM在不同规模、训练范式和不同难度的任务中都未能充分利用可用的深度。

🎯 应用场景

该研究成果可应用于模型压缩、模型剪枝和提前退出等领域。通过了解LLM的有效深度，可以更有针对性地去除冗余层，减少计算开销，提高推理效率。此外，该研究也为设计更高效的LLM架构提供了新的思路，例如，可以设计能够动态调整层利用率的模型。

📄 摘要（原文）

The scaling of large language models (LLMs) emphasizes increasing depth, yet performance gains diminish with added layers. Prior work introduces the concept of "effective depth", arguing that deeper models fail to fully utilize their layers for meaningful computation. Building on this, we systematically study how effective depth varies with model scale, training type, and task difficulty. First, we analyze the model behavior of Qwen-2.5 family (1.5B-32B) and find that while the number of effective layers grows with model size, the effective depth ratio remains stable. Besides, comparisons between base and corresponding long-CoT models show no increase in effective depth, suggesting that improved reasoning stems from longer context rather than deeper per-token computation. Furthermore, evaluations across tasks of varying difficulty indicate that models do not dynamically use more layers for harder problems. Our results suggest that current LLMs underuse available depth across scales, training paradigms and tasks of varying difficulties, pointing out research opportunities on increasing the layer utilization rate of LLMs, model pruning, and early exiting. Our code is released at https://github.com/AheadOFpotato/what_affects_effective_depth.