SliMOO: Interpretable Multi-Objective Evolutionary Search for LLM Depth Pruning

📄 arXiv: 2610.27812v1 📥 PDF

作者: Guanchen Li, Yixing Xu, Xuanwu Yin, Dong Li, Emad Barsoum

分类: cs.LG

发布日期: 2026-10-20

🔗 代码/项目: GITHUB

💡 一句话要点

提出SliMOO以解决大语言模型深度剪枝效率问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 深度剪枝 多目标优化 进化算法 任务层重要性 大型语言模型 模型压缩 自然语言处理

📋 核心要点

  1. 现有深度剪枝方法忽视了变换器层在不同任务中的贡献差异，导致优化效果局限于特定领域。
  2. 本文提出SliMOO框架，通过构建任务-层重要性图，进行多目标进化搜索以优化剪枝掩码。
  3. 在Llama-3.1-70B模型上，SliMOO在25%稀疏率下，数学领域平均提升24.33%至34.40%，代码领域平均提升35.03%至39.14%。

📝 摘要（中文）

随着大型语言模型（LLMs）的强大，其规模使得服务成本高昂。深度剪枝通过直接减少内存和延迟提供了一条有效的效率路径。然而，现有方法忽视了变换器层在不同任务中的贡献差异，导致优化范围狭窄。为此，本文提出SliMOO，一个可解释的多目标进化搜索框架，旨在将深度剪枝视为多目标优化问题。SliMOO通过单层移除探测构建任务-层重要性图，并在此基础上进行Pareto-aware进化搜索，最终在Llama-3.1和Qwen3模型上实现了显著的多任务权衡提升。

🔬 方法详解

问题定义：本文旨在解决大型语言模型深度剪枝效率低下的问题。现有方法未能考虑变换器层在不同任务中的贡献差异，导致优化效果局限于特定领域或基准。

核心思路：SliMOO框架的核心思想是将深度剪枝视为多目标优化问题，通过构建任务-层重要性图来指导剪枝过程，从而保留模型的广泛能力。

技术框架：SliMOO的整体架构包括两个主要模块：首先，通过单层移除探测构建任务-层重要性图；其次，基于该图进行Pareto-aware进化搜索，生成剪枝掩码并通过NSGA-II选择保留候选。

关键创新：SliMOO的主要创新在于引入了任务-层重要性图作为搜索先验，允许模型在多任务环境中进行更有效的剪枝，显著提升了多任务性能。

关键设计：在实现中，SliMOO使用了单层移除探测技术来评估层的重要性，并通过进化算法生成剪枝掩码，优化过程中考虑了每个任务的性能偏差。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

SliMOO在Llama-3.1-70B模型上实现了显著的性能提升，在25%稀疏率下，数学领域平均从24.33%提升至34.40%，代码领域平均从35.03%提升至39.14%。这些结果表明SliMOO在多任务环境中的有效性，超越了基于规则、贪婪和标量化的基线方法。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、机器翻译和对话系统等。通过提高大型语言模型的效率，SliMOO能够降低计算成本，提升实时响应能力，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

As large language models (LLMs) grow more powerful, their scale makes them costly to serve. Depth pruning offers a practical route to efficiency by directly reducing memory and latency without hardware-specific support. However, we observe that transformer layers exhibit markedly different task-dependent layer contributions, whereas existing depth-pruning methods ignore this heterogeneity and thus tend to optimize for a narrow domain or benchmark rather than preserve broad capability. This suggests that LLM depth pruning should be formulated as a multi-objective optimization problem rather than a single-score ranking problem. We propose SliMOO, an interpretable multi-objective evolutionary search framework for LLM depth pruning. SliMOO first uses single-layer removal probing to construct a task-layer importance map, which provides an interpretable view of task-shared and task-specific layers and serves as a search prior. It then performs a Pareto-aware evolutionary search for pruning masks, where candidates are generated under the guidance of the task-layer prior, scored by their deviation from the dense model on each task, and retained through NSGA-II environmental selection. Across the Llama-3.1 and Qwen3 model families, SliMOO consistently achieves stronger multi-task trade-offs than rule-based, greedy, and scalarized baselines. For example, on Llama-3.1-70B at 25% sparsity, it improves the math-domain average from 24.33% to 34.40% and the code-domain average from 35.03% to 39.14%. Code will be made available at https://github.com/AMD-AGI/SliMOO.