Enhancing Large Multimodal Models with Adaptive Sparsity and KV Cache Compression

📄 arXiv: 2507.20613v1 📥 PDF

作者: Te Zhang, Yuheng Li, Junxiang Wang, Lujun Li

分类: cs.AI, cs.LG

发布日期: 2025-07-28

备注: 6 pages

💡 一句话要点

提出自适应稀疏化与KV缓存压缩方法，提升大模型在边缘设备上的部署效率。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态模型压缩 自适应稀疏化 KV缓存量化 边缘设备部署 模型优化

📋 核心要点

  1. 现有大模型压缩方法难以兼顾模型性能与边缘设备部署需求，尤其是在多模态模型上。
  2. 提出一种自适应搜索算法，动态调整模型不同层的剪枝率和KV缓存量化带宽，以优化模型性能。
  3. 实验表明，该方法在LLaVA-1.5等模型上优于现有剪枝和量化方法，实现了高效压缩。

📝 摘要（中文）

大型多模态模型（LMMs）通过整合视觉编码器和大型语言模型取得了显著进展，实现了强大的推理能力。然而，压缩LMMs以在边缘设备上部署仍然是一个关键挑战。本文提出了一种自适应搜索算法，该算法优化稀疏性和KV缓存压缩，以提高LMM的效率。该方法利用树状结构的Parzen估计器，动态调整不同LMM层的剪枝率和KV缓存量化带宽，并将模型性能作为优化目标。这种方法独特地将剪枝与键值缓存量化相结合，并采用了一种快速剪枝技术，无需额外的微调或权重调整，从而在不影响准确性的前提下实现高效压缩。在LLaVA-1.5 7B和13B等基准数据集上的综合评估表明，我们的方法优于SparseGPT和Wanda等最先进的技术。值得注意的是，我们的框架自动分配KV缓存压缩资源，为LMM优化树立了新标准，在不牺牲太多性能的情况下实现了内存效率。

🔬 方法详解

问题定义：现有的大型多模态模型（LMMs）参数量巨大，难以直接部署在资源受限的边缘设备上。现有的压缩方法，如剪枝和量化，通常需要手动调整超参数，或者在压缩后需要进行额外的微调，这增加了部署的复杂性，并且可能导致模型性能显著下降。因此，如何在保证模型性能的同时，高效地压缩LMMs，使其能够在边缘设备上运行，是一个亟待解决的问题。

核心思路：本文的核心思路是利用自适应搜索算法，自动地为LMMs的不同层分配不同的剪枝率和KV缓存量化带宽。通过将模型性能（例如，在特定任务上的准确率）作为优化目标，该算法能够动态地调整压缩策略，从而在保证模型性能的同时，最大程度地减少模型的大小和计算复杂度。这种自适应的方法避免了手动调整超参数的繁琐过程，并且能够更好地适应不同LMM层的特性。

技术框架：该方法主要包含以下几个阶段：1) 初始化：初始化LMM模型，并设置剪枝率和KV缓存量化带宽的搜索空间。2) 自适应搜索：使用树状结构的Parzen估计器（TPE）作为优化算法，迭代地搜索最佳的剪枝率和KV缓存量化带宽组合。在每次迭代中，TPE会根据之前的搜索结果，生成新的候选配置，并评估这些配置在验证集上的性能。3) 快速剪枝：采用一种快速剪枝技术，该技术无需额外的微调或权重调整，即可实现高效的剪枝。4) KV缓存量化：对模型的KV缓存进行量化，以进一步减少模型的内存占用。5) 评估：在测试集上评估压缩后的模型的性能。

关键创新：该方法最重要的技术创新点在于其自适应的压缩策略。与传统的剪枝和量化方法不同，该方法能够根据不同LMM层的特性，动态地调整剪枝率和KV缓存量化带宽。这种自适应的方法能够更好地平衡模型的大小、计算复杂度和性能，从而实现更高效的压缩。此外，该方法还采用了一种快速剪枝技术，无需额外的微调或权重调整，这大大简化了压缩流程。

关键设计：在自适应搜索阶段，使用了树状结构的Parzen估计器（TPE）作为优化算法。TPE是一种贝叶斯优化算法，能够有效地搜索高维空间中的最优解。在快速剪枝阶段，采用了一种基于权重的剪枝方法，该方法根据权重的大小来确定哪些权重应该被剪掉。在KV缓存量化阶段，使用了不同的量化策略，例如，线性量化和非线性量化，以进一步减少模型的内存占用。

🖼️ 关键图片

fig_0
img_1

📊 实验亮点

实验结果表明，该方法在LLaVA-1.5 7B和13B模型上优于SparseGPT和Wanda等先进的剪枝和量化方法。例如，在相同的压缩率下，该方法能够保持更高的模型准确率。此外，该方法还能够自动地为不同LMM层分配不同的KV缓存压缩资源，从而进一步提升了模型的内存效率。

🎯 应用场景

该研究成果可广泛应用于需要将大型多模态模型部署到资源受限的边缘设备的场景，例如移动机器人、智能摄像头、自动驾驶汽车等。通过高效压缩模型，可以在这些设备上实现更强大的视觉理解和推理能力，从而提升设备的智能化水平和应用范围。此外，该方法还可以应用于云计算平台，降低模型部署和推理的成本。

📄 摘要（原文）

Large multimodal models (LMMs) have advanced significantly by integrating visual encoders with extensive language models, enabling robust reasoning capabilities. However, compressing LMMs for deployment on edge devices remains a critical challenge. In this work, we propose an adaptive search algorithm that optimizes sparsity and KV cache compression to enhance LMM efficiency. Utilizing the Tree-structured Parzen Estimator, our method dynamically adjusts pruning ratios and KV cache quantization bandwidth across different LMM layers, using model performance as the optimization objective. This approach uniquely combines pruning with key-value cache quantization and incorporates a fast pruning technique that eliminates the need for additional fine-tuning or weight adjustments, achieving efficient compression without compromising accuracy. Comprehensive evaluations on benchmark datasets, including LLaVA-1.5 7B and 13B, demonstrate our method superiority over state-of-the-art techniques such as SparseGPT and Wanda across various compression levels. Notably, our framework automatic allocation of KV cache compression resources sets a new standard in LMM optimization, delivering memory efficiency without sacrificing much performance.