Instruction-Following Pruning for Large Language Models
作者: Bairu Hou, Qibin Chen, Jianyu Wang, Guoli Yin, Chong Wang, Nan Du, Ruoming Pang, Shiyu Chang, Tao Lei
分类: cs.CL
发布日期: 2025-01-03 (更新: 2025-06-02)
备注: ICML 2025
💡 一句话要点
提出指令跟随剪枝，实现大语言模型基于指令的动态稀疏化
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大语言模型 结构化剪枝 动态剪枝 指令跟随 模型压缩
📋 核心要点
- 现有静态剪枝方法无法根据输入动态调整模型结构，限制了模型在不同任务上的效率和性能。
- 提出指令跟随剪枝，利用用户指令动态生成剪枝掩码，激活与任务相关的模型参数。
- 实验表明，该方法在数学和编码等领域显著提升了模型性能，甚至可媲美更大规模的模型。
📝 摘要（中文）
随着大型语言模型（LLM）的快速发展，结构化剪枝已成为一种广泛使用的技术，用于从更大的模型中学习高效、更小的模型，与从头开始训练类似大小的模型相比，它能提供卓越的性能。本文超越了传统的静态剪枝方法，即为模型确定固定的剪枝掩码，提出了一种动态结构化剪枝方法。在该方法中，剪枝掩码是输入相关的，并根据用户指令中描述的信息动态调整。我们的方法被称为“指令跟随剪枝”，它引入了一个稀疏掩码预测器，该预测器将用户指令作为输入，并动态选择给定任务最相关的模型参数。为了识别和激活有效的参数，我们联合优化稀疏掩码预测器和LLM，同时利用指令跟随数据和预训练语料库。实验结果表明了我们的方法在广泛的评估基准上的有效性。例如，我们的3B激活模型在数学和编码等领域比3B密集模型提高了5-8个百分点的绝对优势，并且可以与9B模型的性能相媲美。
🔬 方法详解
问题定义：现有的大语言模型剪枝方法通常采用静态剪枝策略，即在模型训练完成后，确定一个固定的剪枝掩码，并永久性地移除相应的参数。这种方法无法根据不同的输入指令动态调整模型结构，导致模型在处理不同任务时可能存在冗余计算，效率较低，且无法充分利用模型的能力。因此，如何根据输入指令动态地调整模型结构，从而提高模型的效率和性能，是一个亟待解决的问题。
核心思路：本文的核心思路是引入一个稀疏掩码预测器，该预测器以用户指令作为输入，动态地预测一个剪枝掩码，从而激活与当前指令相关的模型参数。通过这种方式，模型可以根据不同的指令自适应地调整其结构，从而提高效率和性能。这种动态剪枝策略能够更好地适应不同的任务需求，避免了静态剪枝带来的局限性。
技术框架：该方法主要包含两个核心模块：大语言模型（LLM）和稀疏掩码预测器。整体流程如下：首先，将用户指令输入到稀疏掩码预测器中，该预测器输出一个剪枝掩码。然后，将该剪枝掩码应用于LLM，从而激活与当前指令相关的模型参数。最后，利用指令跟随数据和预训练语料库联合优化稀疏掩码预测器和LLM，使得模型能够更好地理解指令并生成相应的剪枝掩码。
关键创新：该方法最重要的技术创新点在于提出了指令跟随剪枝的概念，即利用用户指令动态地生成剪枝掩码。与传统的静态剪枝方法相比，该方法能够根据不同的输入指令自适应地调整模型结构，从而提高模型的效率和性能。此外，联合优化稀疏掩码预测器和LLM，使得模型能够更好地理解指令并生成相应的剪枝掩码，也是一个重要的创新点。
关键设计：稀疏掩码预测器的具体结构未知，但其关键在于能够将用户指令映射到一个合适的剪枝掩码。损失函数的设计需要同时考虑指令跟随的准确性和模型的稀疏性。在训练过程中，需要平衡指令跟随数据和预训练语料库的比例，以避免模型过度拟合指令数据或失去通用性。具体的网络结构和参数设置在论文中可能有所描述，但此处无法得知。
🖼️ 关键图片
📊 实验亮点
实验结果表明，提出的指令跟随剪枝方法在多个评估基准上取得了显著的性能提升。例如，在数学和编码等领域，3B激活模型比3B密集模型提高了5-8个百分点的绝对优势，并且可以与9B模型的性能相媲美。这些结果表明，该方法能够有效地提高模型的效率和性能，并且具有很强的泛化能力。
🎯 应用场景
该研究成果可应用于各种需要高效部署大语言模型的场景，例如移动设备、边缘计算等。通过动态剪枝，可以在保证模型性能的同时，显著降低模型的计算复杂度和存储空间，从而使得大语言模型能够在资源受限的环境中运行。此外，该方法还可以用于个性化模型定制，根据用户的特定需求动态调整模型结构。
📄 摘要（原文）
With the rapid scaling of large language models (LLMs), structured pruning has become a widely used technique to learn efficient, smaller models from larger ones, delivering superior performance compared to training similarly sized models from scratch. In this paper, we move beyond the traditional static pruning approach of determining a fixed pruning mask for a model, and propose a dynamic approach to structured pruning. In our method, the pruning mask is input-dependent and adapts dynamically based on the information described in a user instruction. Our approach, termed "instruction-following pruning", introduces a sparse mask predictor that takes the user instruction as input and dynamically selects the most relevant model parameters for the given task. To identify and activate effective parameters, we jointly optimize the sparse mask predictor and the LLM, leveraging both instruction-following data and the pre-training corpus. Experimental results demonstrate the effectiveness of our approach on a wide range of evaluation benchmarks. For example, our 3B activated model improves over the 3B dense model by 5-8 points of absolute margin on domains such as math and coding, and rivals the performance of a 9B model.