Towards Robust Pruning: An Adaptive Knowledge-Retention Pruning Strategy for Language Models

📄 arXiv: 2310.13191v3 📥 PDF

作者: Jianwei Li, Qi Lei, Wei Cheng, Dongkuan Xu

分类: cs.CL, cs.AI

发布日期: 2023-10-19 (更新: 2024-01-11)

💡 一句话要点

提出自适应知识保留剪枝策略以提升语言模型的鲁棒性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 语言模型 剪枝策略 鲁棒性 对抗攻击 预训练知识 自适应修正 深度学习

📋 核心要点

  1. 现有剪枝方法在提升语言模型鲁棒性方面存在不足，尤其是在对抗攻击下的表现不佳。
  2. 本文提出了一种自适应知识保留剪枝策略，通过忠实复制嵌入空间和特征空间来保留预训练知识。
  3. 实验结果显示，该方法在SST2、IMDB和AGNews数据集上，相较于BERT的其他基线，取得了更好的准确性和鲁棒性平衡。

📝 摘要（中文）

近年来，语言模型的剪枝目标已从准确性和稀疏性扩展到鲁棒性。然而，现有方法在不断增加模型稀疏性的同时，难以增强对抗攻击的鲁棒性，并且需要重新训练。本文提出语言模型的鲁棒性与其预训练知识的保留程度成正比，进而引入了一种后训练剪枝策略，旨在忠实复制稠密语言模型的嵌入空间和特征空间，以在剪枝过程中保留更多的预训练知识。该方法通过累积前层的重构误差进行自适应修正，实验结果表明，与其他最先进的基线相比，该方法在准确性、稀疏性、鲁棒性和剪枝成本之间取得了更好的平衡。

🔬 方法详解

问题定义：本文旨在解决现有语言模型剪枝方法在提升鲁棒性方面的不足，尤其是在对抗攻击下的脆弱性和需要重新训练的问题。

核心思路：提出的自适应知识保留剪枝策略通过保留更多的预训练知识，增强模型的鲁棒性，确保剪枝后的模型能够有效应对对抗攻击。

技术框架：该方法包括多个阶段，首先进行预训练模型的剪枝，然后通过计算每层的重构误差，结合前层的累积误差进行自适应修正，最后得到优化后的模型。

关键创新：最重要的创新在于通过考虑前层的重构误差来进行自适应修正，这一设计使得剪枝过程更有效地保留了模型的知识结构。

关键设计：在损失函数中引入了层间重构误差的累积，确保每层的剪枝决策不仅依赖于自身的表现，还考虑到整体模型的知识保留。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，所提出的方法在SST2、IMDB和AGNews数据集上，相较于其他最先进的基线，准确性和鲁棒性均有显著提升，尤其在高稀疏性条件下，模型的性能保持了良好的平衡。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、对话系统和文本分类等。通过提升语言模型的鲁棒性，该方法能够在实际应用中更好地应对对抗性攻击，增强系统的安全性和稳定性，具有重要的实际价值和未来影响。

📄 摘要（原文）

The pruning objective has recently extended beyond accuracy and sparsity to robustness in language models. Despite this, existing methods struggle to enhance robustness against adversarial attacks when continually increasing model sparsity and require a retraining process. As humans step into the era of large language models, these issues become increasingly prominent. This paper proposes that the robustness of language models is proportional to the extent of pre-trained knowledge they encompass. Accordingly, we introduce a post-training pruning strategy designed to faithfully replicate the embedding space and feature space of dense language models, aiming to conserve more pre-trained knowledge during the pruning process. In this setup, each layer's reconstruction error not only originates from itself but also includes cumulative error from preceding layers, followed by an adaptive rectification. Compared to other state-of-art baselines, our approach demonstrates a superior balance between accuracy, sparsity, robustness, and pruning cost with BERT on datasets SST2, IMDB, and AGNews, marking a significant stride towards robust pruning in language models.