Towards Understanding and Improving Refusal in Compressed Models via Mechanistic Interpretability

📄 arXiv: 2504.04215v1 📥 PDF

作者: Vishnu Kabir Chhabra, Mohammad Mahdi Khalili

分类: cs.CL, cs.AI

发布日期: 2025-04-05

💡 一句话要点

通过可解释性提升压缩模型拒绝回答能力，保障模型安全性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 模型压缩 安全性 可解释性 拒绝回答 残差流

📋 核心要点

  1. 现有安全对齐模型压缩后会损失可信度，模型安全性难以保证。
  2. 利用可解释性方法，分析压缩模型中控制拒绝回答的关键机制。
  3. 提出一种轻量级方法，在不影响性能的前提下，提升压缩模型的安全性。

📝 摘要（中文）

大型语言模型的快速发展推动了模型压缩的研究，以提高其可访问性和实用性。虽然大量研究从安全角度探索了模型压缩，但研究表明，安全对齐的模型在压缩后通常会失去部分可信度。同时，可解释性领域也取得了进展，例如发现残差流中的单个方向可以调节不同模型架构中的拒绝行为。本文通过研究拒绝机制，从可解释性的角度评估模型安全性，从而研究压缩模型的安全性。此外，利用可解释性分析的见解，我们提出了一种轻量级、计算高效的方法来增强压缩模型的安全性，且不影响其性能或效用。

🔬 方法详解

问题定义：论文旨在解决压缩模型在压缩后，其安全性和拒绝回答能力下降的问题。现有方法通常关注压缩后的性能保持，而忽略了模型压缩对安全性的影响，尤其是模型拒绝回答不安全问题的能力。现有方法的痛点在于，压缩过程可能破坏模型内部控制拒绝回答的机制，导致模型在面对有害问题时给出不安全的回答。

核心思路：论文的核心思路是通过可解释性方法，理解模型内部控制拒绝回答的关键机制，并在此基础上设计方法，在压缩后恢复或增强这些机制。具体来说，论文关注残差流中与拒绝回答相关的特定方向，并尝试在压缩模型中保留或重建该方向。

技术框架：论文的技术框架主要包含以下几个阶段：1) 分析原始模型中控制拒绝回答的关键机制；2) 对模型进行压缩；3) 分析压缩后模型中拒绝回答机制的变化；4) 基于可解释性分析的发现，提出一种轻量级方法来增强压缩模型的安全性。该方法可能包括对压缩模型进行微调，或者直接修改模型参数以恢复或增强拒绝回答机制。

关键创新：论文最重要的技术创新点在于，它将可解释性方法应用于压缩模型的安全性分析，并提出了一种基于可解释性分析的轻量级安全增强方法。与现有方法相比，该方法更加关注模型内部的机制，而不是仅仅关注压缩后的性能指标。

关键设计：论文的关键设计可能包括：1) 如何识别残差流中与拒绝回答相关的特定方向；2) 如何量化压缩对该方向的影响；3) 如何设计轻量级的微调或参数修改方法，以恢复或增强该方向。具体的参数设置、损失函数、网络结构等技术细节未知。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文通过实验验证了所提出的方法可以有效提升压缩模型的安全性，同时保持其性能。具体的性能数据、对比基线和提升幅度未知，但论文强调该方法是轻量级的，计算效率高，不会对模型的性能或效用造成显著影响。

🎯 应用场景

该研究成果可应用于各种需要模型压缩的场景，例如移动设备、边缘计算等。通过提升压缩模型的安全性，可以降低模型部署的风险，避免模型被用于恶意用途。该研究还有助于提高人们对模型安全性的重视，推动安全可靠的人工智能发展。

📄 摘要（原文）

The rapid growth of large language models has spurred significant interest in model compression as a means to enhance their accessibility and practicality. While extensive research has explored model compression through the lens of safety, findings suggest that safety-aligned models often lose elements of trustworthiness post-compression. Simultaneously, the field of mechanistic interpretability has gained traction, with notable discoveries, such as the identification of a single direction in the residual stream mediating refusal behaviors across diverse model architectures. In this work, we investigate the safety of compressed models by examining the mechanisms of refusal, adopting a novel interpretability-driven perspective to evaluate model safety. Furthermore, leveraging insights from our interpretability analysis, we propose a lightweight, computationally efficient method to enhance the safety of compressed models without compromising their performance or utility.