Unveiling Instruction-Specific Neurons & Experts: An Analytical Framework for LLM's Instruction-Following Capabilities

📄 arXiv: 2505.21191v1 📥 PDF

作者: Junyan Zhang, Yubo Gao, Yibo Yan, Jungang Li, Zhaorui Hou, Sicheng Tao, Shuliang Liu, Song Dai, Yonghua Hei, Junzhuo Li, Xuming Hu

分类: cs.CL, cs.LG

发布日期: 2025-05-27

💡 一句话要点

揭示指令特定神经元与专家：用于分析LLM指令遵循能力的框架

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 指令遵循 神经元分析 混合专家模型 可解释性 微调 稀疏组件

📋 核心要点

  1. 现有方法缺乏对LLM微调后指令遵循能力提升的底层计算机制的深入理解。
  2. 论文提出SPARCOM框架，通过识别和分析指令特定的稀疏组件来研究LLM的指令遵循能力。
  3. 实验证明了这些稀疏组件的功能通用性和唯一性，以及它们在指令执行中的关键作用。

📝 摘要（中文）

大型语言模型（LLM）的微调显著提升了其指令遵循能力，但驱动这些改进的底层计算机制仍然知之甚少。本研究系统地考察了微调如何重构LLM的计算过程，通过隔离和分析指令特定的稀疏组件，即稠密模型中的神经元以及混合专家（MoE）架构中的神经元和专家。特别地，我们引入了HexaInst，一个精心策划且平衡的指令数据集，涵盖六个不同的类别，并提出了SPARCOM，一个新颖的分析框架，包含三个关键贡献：（1）一种用于识别这些稀疏组件的方法，（2）对其功能通用性和唯一性的评估，以及（3）对其改变的系统比较。通过实验，我们证明了功能通用性、唯一性以及这些组件在指令执行中的关键作用。通过阐明微调引起的适应与稀疏计算基质之间的关系，这项工作为LLM如何内化指令遵循行为提供了更深入的见解，从而服务于可信赖的LLM社区。

🔬 方法详解

问题定义：论文旨在解决大型语言模型（LLM）在微调后，其指令遵循能力提升的底层计算机制不明确的问题。现有方法缺乏有效的工具来识别和分析LLM中负责特定指令处理的神经元或专家，难以理解微调如何重塑LLM的计算过程。

核心思路：论文的核心思路是通过识别和分析LLM中指令特定的稀疏组件（神经元或专家），来揭示LLM指令遵循能力的内在机制。通过精心设计的实验和分析框架，探究这些组件的功能、通用性和独特性，从而理解微调如何影响这些组件，进而提升LLM的指令遵循能力。

技术框架：论文提出了SPARCOM分析框架，包含以下几个主要步骤：1)构建HexaInst指令数据集，涵盖六个不同类别；2)使用该数据集对LLM进行微调；3)利用提出的方法识别指令特定的稀疏组件（神经元或专家）；4)评估这些组件的功能通用性和唯一性；5)系统比较微调前后这些组件的变化。

关键创新：论文的关键创新在于提出了SPARCOM分析框架，该框架能够有效地识别LLM中指令特定的稀疏组件，并对其功能进行深入分析。此外，HexaInst数据集的构建也为研究LLM的指令遵循能力提供了新的资源。

关键设计：SPARCOM框架的关键设计包括：1)HexaInst数据集的平衡性设计，确保各个指令类别的数据量均衡；2)用于识别稀疏组件的方法，具体细节未知；3)评估功能通用性和唯一性的指标，具体细节未知；4)比较微调前后组件变化的策略，具体细节未知。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，通过SPARCOM框架识别出的指令特定神经元和专家在指令执行中起着关键作用，并且具有功能通用性和唯一性。研究还揭示了微调如何改变这些组件，从而提升LLM的指令遵循能力。具体的性能数据和提升幅度未知。

🎯 应用场景

该研究成果可应用于提升LLM的可解释性和可控性，帮助开发者更好地理解和优化LLM的指令遵循能力。此外，该研究也有助于开发更安全、更可靠的LLM，并促进LLM在各个领域的应用，例如智能助手、自然语言处理和人机交互。

📄 摘要（原文）

The finetuning of Large Language Models (LLMs) has significantly advanced their instruction-following capabilities, yet the underlying computational mechanisms driving these improvements remain poorly understood. This study systematically examines how fine-tuning reconfigures LLM computations by isolating and analyzing instruction-specific sparse components, i.e., neurons in dense models and both neurons and experts in Mixture-of-Experts (MoE) architectures. In particular, we introduce HexaInst, a carefully curated and balanced instructional dataset spanning six distinct categories, and propose SPARCOM, a novel analytical framework comprising three key contributions: (1) a method for identifying these sparse components, (2) an evaluation of their functional generality and uniqueness, and (3) a systematic comparison of their alterations. Through experiments, we demonstrate functional generality, uniqueness, and the critical role of these components in instruction execution. By elucidating the relationship between fine-tuning-induced adaptations and sparse computational substrates, this work provides deeper insights into how LLMs internalize instruction-following behavior for the trustworthy LLM community.