LayerTracer: A Joint Task-Particle and Vulnerable-Layer Analysis framework for Arbitrary Large Language Model Architectures
作者: Yuhang Wu, Qinyuan Liu, Qiuyang Zhao, Qingwei Chong
分类: cs.CL, cs.AI
发布日期: 2026-04-22
备注: 5 pages, 3 figures
💡 一句话要点
LayerTracer：面向任意LLM架构的任务知识定位与脆弱层分析框架
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 模型分析 可解释性 鲁棒性 任务粒子 脆弱层 架构无关 隐藏状态
📋 核心要点
- 现有LLM架构多样，但缺乏对分层表征、知识形成和鲁棒性瓶颈的深入理解，阻碍了混合架构设计和模型优化。
- LayerTracer通过逐层分析隐藏状态和输出分布，联合定位任务知识形成的关键层（任务粒子）和对扰动敏感的脆弱层。
- 实验表明，任务粒子位于深层，大模型具有更强的鲁棒性。LayerTracer为混合架构设计和模型优化提供科学依据。
📝 摘要（中文）
当前，大型语言模型（LLM）呈现出多样化的架构格局，包括传统的Transformer、GateDeltaNet和Mamba。然而，各种LLM架构中分层表征的演化规律、任务知识形成的位置以及网络鲁棒性瓶颈机制仍然不清楚，这对混合架构设计和模型优化提出了核心挑战。本文提出了LayerTracer，这是一个架构无关的端到端分析框架，兼容任何LLM架构。通过逐层提取隐藏状态并将其映射到词汇概率分布，实现了任务粒子定位和层脆弱性量化的联合分析。我们将任务粒子定义为目标token概率首次显著上升的关键层，代表模型任务执行的起点；脆弱层定义为掩码扰动前后输出分布之间具有最大Jensen-Shannon（JS）散度的层，反映了其对扰动的敏感性。不同参数规模模型的实验表明，无论参数大小，任务粒子主要出现在模型的深层，而较大参数的模型表现出更强的分层鲁棒性。LayerTracer为混合架构的层划分、模块比例和门控切换提供了科学依据，有效优化了模型性能。它准确地定位了任务有效层和稳定性瓶颈，为LLM结构设计和可解释性研究提供了通用支持。
🔬 方法详解
问题定义：现有的大型语言模型架构种类繁多，如Transformer、GateDeltaNet和Mamba等。然而，对于不同架构的模型，我们缺乏对其内部运作机制的深入理解，例如，模型在哪些层学习到了特定的任务知识？哪些层对输入扰动最为敏感？这些问题阻碍了我们设计更高效、更鲁棒的混合架构模型。
核心思路：LayerTracer的核心思路是通过逐层分析LLM的隐藏状态和输出分布，来定位模型中负责特定任务知识形成的“任务粒子”和对扰动敏感的“脆弱层”。通过这种方式，可以深入了解模型内部不同层的角色和功能，从而为模型设计和优化提供指导。
技术框架：LayerTracer框架主要包含以下几个步骤：1) 逐层提取LLM的隐藏状态；2) 将隐藏状态映射到词汇概率分布；3) 定义“任务粒子”为目标token概率首次显著上升的层；4) 通过掩码扰动输入，计算扰动前后输出分布的Jensen-Shannon (JS) 散度，定义JS散度最大的层为“脆弱层”。
关键创新：LayerTracer的关键创新在于提出了一个架构无关的端到端分析框架，可以应用于任何LLM架构。它通过定义“任务粒子”和“脆弱层”这两个概念，将模型内部的复杂运作机制简化为可量化的指标，从而为模型分析和优化提供了新的视角。与现有方法相比，LayerTracer更加通用、灵活，并且能够提供更深入的模型理解。
关键设计：LayerTracer的关键设计包括：1) 任务粒子的定义：通过设定一个阈值来判断目标token概率是否“显著上升”，该阈值的选择会影响任务粒子定位的准确性；2) 脆弱层的定义：使用Jensen-Shannon (JS) 散度来衡量输出分布的差异，JS散度对分布差异的敏感程度会影响脆弱层定位的准确性；3) 掩码扰动策略：不同的掩码策略会对输出分布产生不同的影响，从而影响脆弱层定位的结果。
🖼️ 关键图片
📊 实验亮点
实验结果表明，任务粒子主要出现在模型的深层，这表明LLM的深层负责高级语义理解和推理。此外，较大参数的模型表现出更强的分层鲁棒性，这表明更大的模型具有更强的抗干扰能力。LayerTracer能够准确地定位任务有效层和稳定性瓶颈，为LLM结构设计和可解释性研究提供了通用支持。
🎯 应用场景
LayerTracer可应用于LLM的结构设计、模型优化和可解释性研究。例如，可以利用LayerTracer确定混合架构中不同模块的比例和连接方式，优化模型性能。此外，LayerTracer还可以帮助我们理解LLM内部的知识表示和推理过程，从而提高模型的可解释性，并为开发更安全、更可靠的LLM提供支持。
📄 摘要（原文）
Currently, Large Language Models (LLMs) feature a diversified architectural landscape, including traditional Transformer, GateDeltaNet, and Mamba. However, the evolutionary laws of hierarchical representations, task knowledge formation positions, and network robustness bottleneck mechanisms in various LLM architectures remain unclear, posing core challenges for hybrid architecture design and model optimization. This paper proposes LayerTracer, an architecture-agnostic end-to-end analysis framework compatible with any LLM architecture. By extracting hidden states layer-by-layer and mapping them to vocabulary probability distributions, it achieves joint analysis of task particle localization and layer vulnerability quantification. We define the task particle as the key layer where the target token probability first rises significantly, representing the model's task execution starting point, and the vulnerable layer is defined as the layer with the maximum Jensen-Shannon (JS) divergence between output distributions before and after mask perturbation, reflecting its sensitivity to disturbances. Experiments on models of different parameter scales show that task particles mainly appear in the deep layers of the model regardless of parameter size, while larger-parameter models exhibit stronger hierarchical robustness. LayerTracer provides a scientific basis for layer division, module ratio, and gating switching of hybrid architectures, effectively optimizing model performance. It accurately locates task-effective layers and stability bottlenecks, offering universal support for LLM structure design and interpretability research.