MI-PRUN: Optimize Large Language Model Pruning via Mutual Information

📄 arXiv: 2601.07212v1 📥 PDF

作者: Hao Zhang, Zhibin Zhang, Guangxin Wu, He Chen, Jiafeng Guo, Xueqi Cheng

分类: cs.CL

发布日期: 2026-01-12

备注: 10 pages

💡 一句话要点

提出MI-PRUN：通过互信息优化大语言模型剪枝

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 模型剪枝 互信息 数据处理不等式 块剪枝 模型压缩 推理加速

📋 核心要点

  1. 现有LLM块剪枝方法不稳定，难以达到全局最优，限制了压缩和加速效果。
  2. MI-PRUN利用互信息识别冗余块，并结合数据处理不等式指导剪枝。
  3. Fast-Block-Select算法迭代优化块组合，高效实现全局最优剪枝。

📝 摘要（中文）

大语言模型(LLMs)在各个领域都变得不可或缺，但同时也带来了巨大的计算和内存资源消耗。模型剪枝通过移除模型中的冗余组件来解决这个问题。特别是，块剪枝可以实现显著的压缩和推理加速。然而，现有的块剪枝方法通常不稳定，难以获得全局最优解。在本文中，我们提出了一种基于互信息的LLM剪枝方法MI-PRUN。具体来说，我们利用互信息通过评估隐藏状态的转换来识别冗余块。此外，我们结合数据处理不等式(DPI)来揭示整个连续块的重要性与单个块的重要性之间的关系。此外，我们开发了Fast-Block-Select算法，该算法迭代更新块组合以实现全局最优解，同时显著提高效率。在各种模型和数据集上的大量实验证明了我们方法的稳定性和有效性。

🔬 方法详解

问题定义：论文旨在解决大语言模型（LLMs）块剪枝过程中，现有方法不稳定、难以达到全局最优的问题。现有方法在剪枝过程中容易陷入局部最优，导致剪枝后的模型性能下降，无法充分利用剪枝带来的压缩和加速优势。

核心思路：论文的核心思路是利用互信息来衡量模型中不同块之间的信息传递冗余度。如果两个块之间的互信息较低，则表明其中一个块可能是冗余的，可以被安全地剪枝掉。此外，论文还利用数据处理不等式（DPI）来指导剪枝过程，确保剪枝后的模型仍然能够保持较高的性能。

技术框架：MI-PRUN方法主要包含以下几个阶段：1) 互信息计算：计算模型中所有块之间的互信息。2) 冗余块识别：基于互信息和DPI，识别出冗余的块。3) 块选择：使用Fast-Block-Select算法选择要剪枝的块组合。4) 模型剪枝：从模型中移除选定的块。5) 模型微调：对剪枝后的模型进行微调，以恢复性能。

关键创新：MI-PRUN的关键创新在于：1) 互信息指导剪枝：首次将互信息应用于LLM的块剪枝，能够更准确地识别冗余块。2) DPI约束：利用DPI来约束剪枝过程，确保剪枝后的模型性能不会大幅下降。3) Fast-Block-Select算法：提出了一种高效的块选择算法，能够在保证剪枝效果的同时，显著提高剪枝效率。

关键设计：在互信息计算方面，论文采用了一种基于隐藏状态的互信息估计方法。在DPI约束方面，论文将DPI转化为一个正则化项，添加到剪枝的目标函数中。Fast-Block-Select算法采用迭代更新的方式，每次选择一个能够最大程度提高目标函数的块进行剪枝。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，MI-PRUN在各种模型和数据集上都取得了显著的性能提升。例如，在Llama2-7B模型上，MI-PRUN可以在保持性能基本不变的情况下，将模型大小减少高达60%。与现有的块剪枝方法相比，MI-PRUN在稳定性和剪枝效果方面都具有明显优势。

🎯 应用场景

MI-PRUN方法可应用于各种需要部署大语言模型的场景，例如移动设备、边缘计算设备等。通过剪枝降低模型大小和计算复杂度，可以使LLM在资源受限的环境中运行，并降低部署成本。该方法还有助于开发更高效、更绿色的AI系统，减少能源消耗和碳排放。

📄 摘要（原文）

Large Language Models (LLMs) have become indispensable across various domains, but this comes at the cost of substantial computational and memory resources. Model pruning addresses this by removing redundant components from models. In particular, block pruning can achieve significant compression and inference acceleration. However, existing block pruning methods are often unstable and struggle to attain globally optimal solutions. In this paper, we propose a mutual information based pruning method MI-PRUN for LLMs. Specifically, we leverages mutual information to identify redundant blocks by evaluating transitions in hidden states. Additionally, we incorporate the Data Processing Inequality (DPI) to reveal the relationship between the importance of entire contiguous blocks and that of individual blocks. Moreover, we develop the Fast-Block-Select algorithm, which iteratively updates block combinations to achieve a globally optimal solution while significantly improving the efficiency. Extensive experiments across various models and datasets demonstrate the stability and effectiveness of our method.