Unified Static-Dynamic Pruning for Efficient LLM Inference
作者: Jinhyeok Kim, Yejoon Lee, Jaeyoung Do
分类: cs.DC, cs.AI, cs.AR, cs.LG
发布日期: 2026-07-24
备注: 14 pages, 13 figures. Accepted for publication in Proceedings of the VLDB Endowment (PVLDB), Volume 19, Issue 11, 2026. Code: https://github.com/AIDASLab/SPDP
💡 一句话要点
提出统一静态-动态剪枝以提升LLM推理效率
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 推理优化 静态剪枝 动态剪枝 稀疏推理 GPU加速 计算效率
📋 核心要点
- 现有的静态剪枝和动态剪枝方法在LLM推理中存在适应性不足和运行时不规则性的问题，导致推理效率低下。
- 本文提出的SPDP框架通过结合静态剪枝和动态剪枝，设计了新的数据格式和GPU内核，以实现高效的稀疏推理。
- 实验结果显示，SPDP在推理优化GPU上实现了显著的加速效果，超越了现有稀疏框架，同时保持了较高的推理质量。
📝 摘要（中文）
随着大型语言模型（LLMs）的广泛应用，自回归解码的计算和内存瓶颈愈发明显，低计算强度和带宽限制的内核主导了推理成本。权重剪枝是一种有效的解决方案，但现有方法局限于静态剪枝（SP）和动态剪枝（DP），前者缺乏适应性，后者则引入了运行时不规则性。本文提出了SPDP，一个统一的稀疏推理框架，将无结构的SP与输入自适应的DP结合，旨在提高GPU上的LLM推理效率。SPDP共同设计了一种新的Tiled-Column-wise Bitmap Compressed（Tiled-CBC）格式和两个互补的GPU内核，显著提升了推理性能。综合评估表明，SPDP在推理优化GPU上实现了1.24x-1.37x的平均加速（最高可达2.51x），同时在高达25%的稀疏性下保持了困惑度的匹配。
🔬 方法详解
问题定义：本文旨在解决大型语言模型推理中的计算和内存瓶颈，现有的静态剪枝和动态剪枝方法分别存在适应性不足和运行时不规则性的问题。
核心思路：SPDP框架通过将无结构的静态剪枝与输入自适应的动态剪枝结合，旨在提高推理效率并保持高计算强度和带宽效率。
技术框架：SPDP框架包括新的Tiled-CBC数据格式和两个主要的GPU内核：一个用于细粒度的运行时激活跳过的CUDA-core spMspV内核，另一个是针对预填充计算优化的Tensor-Core SpMM内核。
关键创新：SPDP的核心创新在于其统一的静态-动态剪枝设计，能够在推理的不同阶段保持高效的内存访问和计算强度，这与现有方法的单一剪枝策略形成了鲜明对比。
关键设计：在设计中，采用了混合激活感知动态共享内存位图解码（HAD-SMBD）技术，以实现高效的激活跳过，同时优化了Tensor-Core SpMM内核以提高预填充计算的效率。
🖼️ 关键图片
📊 实验亮点
实验结果表明，SPDP在推理优化GPU上实现了1.24x至1.37x的平均加速，最高可达2.51x，且在高达25%的稀疏性下仍能保持困惑度的匹配，显著超越了现有的稀疏框架如SpInfer。
🎯 应用场景
该研究的潜在应用领域包括大型语言模型的在线推理服务、实时自然语言处理任务以及需要高效计算资源的AI应用。通过提升推理效率，SPDP能够降低计算成本，提高服务质量，具有广泛的实际价值和未来影响。
📄 摘要（原文）
The increasing deployment of large language models (LLMs) has magnified the computational and memory bottlenecks of autoregressive decoding, where low compute intensity and bandwidth-bound kernels dominate inference cost. Weight pruning offers a promising remedy, but existing methods remain confined to either static pruning (SP), which permanently removes redundant weights but lacks adaptivity, or dynamic pruning (DP), which adapts to input sparsity but introduces runtime irregularity. This paper presents SPDP, a unified sparse-inference framework that integrates unstructured SP with input-adaptive DP for efficient LLM inference on GPUs. SPDP co-designs a new Tiled-Column-wise Bitmap Compressed (Tiled-CBC) format and two complementary GPU kernels: (1) a CUDA-core spMspV kernel featuring Hybrid Activation-aware Dynamic Shared-Memory Bitmap Decoding (HAD-SMBD) for fine-grained, runtime activation skipping, and (2) a Tensor-Core SpMM kernel optimized for prefill computation. This joint format-kernel design harmonizes static and dynamic sparsity, maintaining bandwidth-efficient memory access and high compute intensity under both phases of LLM inference. Comprehensive evaluations on inference-optimized GPUs demonstrate that SPDP achieves 1.24x-1.37x average speedup (up to 2.51x) over state-of-the- art sparse frameworks such as SpInfer, while matching. perplexity with up to 25% higher sparsity. SPDP advances the inference efficiency-quality Pareto frontier, showing that unified static-dynamic pruning can deliver substantial throughput and performance-per-watt improvements in large-scale LLM serving