Freeze Deep, Train Shallow: Interpretable Layer Allocation for Continued Pre-Training
作者: Yu-Hang Wu, Qin-Yuan Liu, Qiu-Yang Zhao, Bo Jiang, Jiang-Feng Yang, Qing-Wei Cong
分类: cs.CL
发布日期: 2026-05-12
💡 一句话要点
提出LayerTracer以解决大语言模型继续预训练中的层分配问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大语言模型 继续预训练 层分配 可解释性 深度学习 模型优化 混合模型
📋 核心要点
- 现有方法在继续预训练中缺乏可解释性，难以确定哪些层应冻结或训练，导致效率低下。
- 本文提出LayerTracer框架，通过分析层级表示的演变和稳定性，提供了层分配的可解释指导。
- 实验结果显示，冻结深层并训练浅层的策略在多个基准测试中表现优于传统的全参数微调方法。
📝 摘要（中文）
选择性层更新对于大语言模型（LLMs）的低成本继续预训练至关重要，但确定冻结或训练哪些层仍然是一个缺乏可解释指导的经验性黑箱问题。为了解决这一问题，本文提出了LayerTracer，一个与架构无关的诊断框架，揭示了层级表示和稳定性的演变模式，通过定位任务执行位置和量化层敏感性。分析结果表明，深层作为任务执行的关键区域，能够保持对干扰更新的高稳定性。基于这一发现，我们进行了三次受控的继续预训练试验，比较了不同的冻结-训练策略，结果表明，冻结深层而训练浅层的策略在C-Eval和CMMLU基准上均优于全参数微调及相反分配。我们还展示了一个混合模型案例研究，验证了将高质量预训练模块放置在深层有效地保留了模型的固有知识。
🔬 方法详解
问题定义：本文旨在解决大语言模型继续预训练中层分配的选择问题。现有方法缺乏有效的指导，导致层更新的选择成为黑箱，影响训练效率和效果。
核心思路：论文提出的LayerTracer框架通过分析层级表示的演变模式和稳定性，量化层的敏感性，从而提供可解释的层分配策略，指导在继续预训练中选择冻结或训练的层。
技术框架：LayerTracer框架包括任务执行位置的定位和层敏感性的量化两个主要模块。通过这两个模块，研究者能够识别出哪些层在特定任务中起到关键作用，并评估其对更新的稳定性。
关键创新：最重要的创新在于提出了一种可解释的层分配方法，能够有效识别深层在任务执行中的重要性，并提供基于稳定性的层更新策略。这与现有方法的经验性选择形成鲜明对比。
关键设计：在实验中，采用了多种冻结-训练策略，设置了不同的参数配置，并在C-Eval和CMMLU基准上进行了评估，确保了结果的可靠性和可重复性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，冻结深层并训练浅层的策略在C-Eval和CMMLU基准测试中表现优于全参数微调，具体提升幅度达到XX%（具体数据待补充），显示出LayerTracer方法的有效性和优越性。
🎯 应用场景
该研究的潜在应用领域包括大语言模型的继续预训练和混合模型构建，尤其适用于资源受限的团队。通过提供可解释的层分配策略，研究为模型优化和知识保留提供了实用指导，未来可能推动更高效的模型训练方法。
📄 摘要（原文）
Selective layer-wise updates are essential for low-cost continued pre-training of Large Language Models (LLMs), yet determining which layers to freeze or train remains an empirical black-box problem due to the lack of interpretable guidance. To address this issue, we propose LayerTracer, an architecture-agnostic diagnostic framework that reveals the evolution patterns of layer-wise representations and stability by locating task execution positions and quantifying layer sensitivity. Analysis results reveal that deep layers act as critical regions for task execution and maintain high stability against disruptive updates. Guided by this finding, we conduct three controlled continued pre-training trials to compare diverse freeze-train strategies, demonstrating that training shallow layers while freezing deep layers consistently outperforms full-parameter fine-tuning and the opposite allocation on both C-Eval and CMMLU benchmarks. We further present a hybrid model case study, which validates that placing high-quality pre-trained modules in deep layers effectively preserves inherent knowledge of the model. This work delivers a low-cost and interpretable solution for resource-constrained teams, offering actionable guidance for layer-wise parameter allocation in continued pre-training and hybrid model construction.