Whispering Experts: Neural Interventions for Toxicity Mitigation in Language Models

📄 arXiv: 2407.12824v1 📥 PDF

作者: Xavier Suau, Pieter Delobelle, Katherine Metcalf, Armand Joulin, Nicholas Apostoloff, Luca Zappella, Pau Rodríguez

分类: cs.CL, cs.AI

发布日期: 2024-07-02

备注: ICML 2024, 8 pages + appendix

💡 一句话要点

提出AurA干预方法，通过神经元毒性判别能力降低大语言模型的有害内容生成

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 语言模型安全 毒性缓解 神经元干预 AUROC自适应 大语言模型

📋 核心要点

  1. 大型语言模型存在生成有害内容的问题，需要有效缓解方法。
  2. AurA方法通过识别并降低与毒性相关的神经元激活水平来减轻毒性。
  3. 实验表明AurA能有效降低毒性，同时保持模型性能，且适用于不同规模模型。

📝 摘要（中文）

大型语言模型（LLM）的一个重要问题是它们生成有害语言的不良能力。本文表明，负责毒性的神经元可以通过其区分毒性句子的能力来确定，并且可以通过按比例降低其激活水平来减轻毒性语言。我们提出AUROC自适应（AurA），这是一种可以应用于任何预训练LLM以减轻毒性的干预方法。由于干预与每个神经元区分毒性内容的能力成正比，因此它不依赖于任何模型相关的超参数。我们表明，AurA可以在困惑度仅增加0.72的情况下，实现高达2.2倍的毒性降低。我们还表明，AurA对于不同规模的模型（从1.5B到40B参数）有效，并且其在减轻毒性语言方面的有效性，同时保留常识零样本能力，在所有规模上都成立。AurA可以与预提示策略相结合，将其平均缓解潜力从1.28倍提高到2.35倍。此外，AurA可以抵消恶意引出毒性内容的对抗性预提示，使其成为部署更安全、毒性更低模型的有效方法。

🔬 方法详解

问题定义：论文旨在解决大型语言模型（LLM）生成有害或有毒内容的问题。现有方法可能依赖于复杂的模型微调或额外的训练数据，这可能引入偏差或影响模型的通用能力。痛点在于如何在不显著降低模型性能的前提下，有效且高效地减少毒性内容的生成。

核心思路：论文的核心思路是识别并干预那些对生成毒性内容贡献最大的神经元。通过分析神经元区分毒性句子的能力（使用AUROC），确定哪些神经元与毒性密切相关。然后，通过降低这些神经元的激活水平，从而减少模型生成毒性内容的可能性。这种方法的核心在于针对性干预，而非全局调整，旨在最小化对模型其他能力的影响。

技术框架：AurA方法主要包含以下几个阶段：1) 毒性数据收集：收集用于评估模型毒性的数据集。2) 神经元重要性评估：使用AUROC指标评估每个神经元区分毒性句子的能力。AUROC越高，表示该神经元与毒性的关联性越强。3) 激活干预：根据神经元的重要性，按比例降低其激活水平。重要性越高的神经元，降低的幅度越大。4) 模型评估：评估干预后模型在毒性生成和通用能力方面的表现。

关键创新：AurA的关键创新在于其神经元级别的干预策略，以及使用AUROC作为神经元重要性的度量标准。与传统的模型微调或对抗训练方法相比，AurA无需额外的训练数据或复杂的优化过程，可以直接应用于预训练的LLM。此外，AurA是无超参数的，因为它依赖于神经元自身区分毒性的能力，避免了手动调整参数的需要。

关键设计：AurA的关键设计包括：1) AUROC计算：使用AUROC来量化每个神经元区分毒性句子的能力。具体而言，对于每个神经元，计算其在毒性句子和非毒性句子上的激活值，并使用这些激活值计算AUROC。2) 激活降低比例：根据神经元的AUROC值，确定其激活降低的比例。AUROC越高，降低的比例越大。具体公式为：new_activation = activation * (1 - alpha * AUROC)，其中alpha是一个全局缩放因子，用于控制干预的强度。3) 干预位置：干预可以应用于模型的不同层，作者发现对某些层进行干预可以获得更好的效果。4) 组合预提示：AurA可以与预提示策略相结合，进一步提高其缓解毒性的能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

AurA方法在实验中表现出色，在困惑度仅增加0.72的情况下，实现了高达2.2倍的毒性降低。该方法在不同规模的模型（1.5B到40B参数）上均有效，并且能够与预提示策略相结合，进一步提高缓解毒性的能力（从1.28倍提高到2.35倍）。此外，AurA还能有效抵御对抗性预提示，证明了其在实际应用中的鲁棒性。

🎯 应用场景

AurA方法可广泛应用于各种需要部署大型语言模型的场景，例如聊天机器人、内容生成平台、代码生成工具等。通过降低模型生成有害内容的风险，可以提高用户体验，减少潜在的法律和声誉风险。该方法尤其适用于那些对安全性要求较高的应用，例如医疗、金融等领域。未来，可以进一步研究如何将AurA与其他安全技术相结合，构建更安全可靠的AI系统。

📄 摘要（原文）

An important issue with Large Language Models (LLMs) is their undesired ability to generate toxic language. In this work, we show that the neurons responsible for toxicity can be determined by their power to discriminate toxic sentences, and that toxic language can be mitigated by reducing their activation levels proportionally to this power. We propose AUROC adaptation (AurA), an intervention that can be applied to any pre-trained LLM to mitigate toxicity. As the intervention is proportional to the ability of each neuron to discriminate toxic content, it is free of any model-dependent hyperparameters. We show that AurA can achieve up to $2.2 \times$ reduction in toxicity with only a $0.72$ perplexity increase. We also show that AurA is effective with models of different scale (from 1.5B to 40B parameters), and its effectiveness in mitigating toxic language, while preserving common-sense zero-shot abilities, holds across all scales. AurA can be combined with pre-prompting strategies, boosting its average mitigation potential from $1.28\times$ to $2.35\times$. Moreover, AurA can counteract adversarial pre-prompts that maliciously elicit toxic content, making it an effective method for deploying safer and less toxic models.