AutoSculpt: A Pattern-based Model Auto-pruning Framework Using Reinforcement Learning and Graph Learning

📄 arXiv: 2412.18091v2 📥 PDF

作者: Lixian Jing, Jianpeng Qi, Junyu Dong, Yanwei Yu

分类: cs.AI

发布日期: 2024-12-24 (更新: 2025-06-19)

备注: I have identified a significant and fundamental flaw in the methodology described in Section 3 of the manuscript. This flaw pertains to a critical error in the implementation of the model's training procedure, which renders the reported performance metrics unreliable. This issue is not correctable through an erratum or replacement as it undermines the core findings and validity of the entire study

💡 一句话要点

提出AutoSculpt框架以解决深度神经网络自动剪枝问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 深度学习 自动剪枝 图学习 深度强化学习 边缘计算 模型优化 神经网络

📋 核心要点

  1. 现有自动剪枝方法在处理DNN模型多样性和剪枝粒度与准确性平衡方面存在显著挑战。
  2. AutoSculpt框架通过图学习和深度强化学习，自动识别和剪除DNN中的规则模式，从而提升模型效率和准确性。
  3. 实验结果显示，AutoSculpt在多种网络架构上实现了高达90%的剪枝率和近18%的FLOPs减少，效果显著优于基线方法。

📝 摘要（中文）

随着深度神经网络（DNN）在边缘设备上的广泛应用，优化模型以适应有限的计算资源变得至关重要。现有的自动剪枝方法面临着DNN模型多样性、操作符差异以及剪枝粒度与模型准确性之间平衡的挑战。为了解决这些问题，本文提出了AutoSculpt，一个基于模式的自动剪枝框架，利用图学习和深度强化学习（DRL）来提高效率和准确性。AutoSculpt能够自动识别并剪除DNN架构中可被现有推理引擎识别的规则模式，从而加速运行。实验结果表明，AutoSculpt在多种架构上表现出色，包括ResNet、MobileNet、VGG和Vision Transformer，剪枝率高达90%，FLOPs减少近18%，超越了所有基线方法。

🔬 方法详解

问题定义：本论文旨在解决深度神经网络（DNN）在边缘设备上部署时的自动剪枝问题。现有方法在应对DNN模型的多样性、操作符差异及剪枝粒度与模型准确性之间的平衡时，面临诸多挑战。

核心思路：AutoSculpt框架的核心思路是利用图学习和深度强化学习（DRL）来自动识别和剪除DNN架构中的规则模式，从而提高模型的运行效率和准确性。通过这种方式，AutoSculpt能够在保证模型性能的前提下，显著减少计算资源的消耗。

技术框架：AutoSculpt的整体架构包括三个主要步骤：首先，将DNN构建为图，以编码其拓扑结构和参数依赖关系；其次，嵌入计算效率高的剪枝模式；最后，利用DRL迭代优化自动剪枝策略，直至达到压缩与准确性之间的最佳平衡。

关键创新：AutoSculpt的主要创新在于其模式识别能力和基于DRL的优化策略，使其能够在多种DNN架构中实现高效的自动剪枝。这一方法与现有的剪枝技术相比，能够更好地适应不同模型的特性，提升剪枝效果。

关键设计：在设计中，AutoSculpt采用了高效的图表示方法来捕捉DNN的结构信息，并通过DRL不断调整剪枝策略。此外，框架中的剪枝模式嵌入设计确保了剪枝过程的高效性和准确性，具体参数设置和损失函数的选择也经过精心调整，以优化模型性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，AutoSculpt在多种网络架构上实现了高达90%的剪枝率，并且在FLOPs减少方面提升近18%。这些结果显著优于现有的所有基线方法，展示了AutoSculpt在模型优化方面的卓越性能。

🎯 应用场景

AutoSculpt框架在边缘计算、移动设备和嵌入式系统等资源受限的环境中具有广泛的应用潜力。通过有效的模型剪枝，AutoSculpt能够显著降低计算和存储需求，从而提升设备的响应速度和能效。这一研究不仅对实际应用具有重要价值，也为未来的深度学习模型优化提供了新的思路和方法。

📄 摘要（原文）

As deep neural networks (DNNs) are increasingly deployed on edge devices, optimizing models for constrained computational resources is critical. Existing auto-pruning methods face challenges due to the diversity of DNN models, various operators (e.g., filters), and the difficulty in balancing pruning granularity with model accuracy. To address these limitations, we introduce AutoSculpt, a pattern-based automated pruning framework designed to enhance efficiency and accuracy by leveraging graph learning and deep reinforcement learning (DRL). AutoSculpt automatically identifies and prunes regular patterns within DNN architectures that can be recognized by existing inference engines, enabling runtime acceleration. Three key steps in AutoSculpt include: (1) Constructing DNNs as graphs to encode their topology and parameter dependencies, (2) embedding computationally efficient pruning patterns, and (3) utilizing DRL to iteratively refine auto-pruning strategies until the optimal balance between compression and accuracy is achieved. Experimental results demonstrate the effectiveness of AutoSculpt across various architectures, including ResNet, MobileNet, VGG, and Vision Transformer, achieving pruning rates of up to 90% and nearly 18% improvement in FLOPs reduction, outperforming all baselines. The codes can be available at https://anonymous.4open.science/r/AutoSculpt-DDA0