CausalDetox: Causal Head Selection and Intervention for Language Model Detoxification

📄 arXiv: 2604.14602v1 📥 PDF

作者: Yian Wang, Yuen Chen, Agam Goyal, Hari Sundaram

分类: cs.CL, cs.AI

发布日期: 2026-04-16

备注: Accepted to ACL 2026. 22 pages, 1 figure

💡 一句话要点

CausalDetox：通过因果头选择与干预实现语言模型解毒

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 语言模型解毒 因果推断 注意力头选择 有害内容生成 必要性和充分性概率

📋 核心要点

  1. 现有语言模型解毒方法存在生成质量下降或依赖高成本人工标注的问题，限制了其应用。
  2. CAUSALDETOX通过识别并干预导致毒性生成的特定注意力头，实现精准解毒，提升效率。
  3. 实验表明，CAUSALDETOX在降低毒性的同时，保持了语言流畅性，并在头部选择上显著加速。

📝 摘要（中文）

大型语言模型（LLMs）频繁生成有害内容，给安全部署带来重大风险。现有的缓解策略通常会降低生成质量或需要昂贵的人工标注。我们提出了CAUSALDETOX，一个用于识别和干预对有害生成具有因果责任的特定注意力头的框架。利用必要性和充分性概率（PNS），我们分离出对毒性而言必要且充分的最小头集合。我们通过两种互补策略利用这些组件：（1）局部推理时干预，它构建动态的、输入特定的引导向量，用于上下文感知的解毒；（2）PNS引导的微调，它永久性地消除有害表示。我们还引入了PARATOX，一个新的对齐的有害/无害句子对基准，支持受控的反事实评估。在ToxiGen、ImplicitHate和ParaDetox上的实验表明，与基线相比，CAUSALDETOX实现了高达5.34%的毒性降低，同时保持了语言流畅性，并在头部选择方面提供了7倍的加速。

🔬 方法详解

问题定义：论文旨在解决大型语言模型（LLMs）生成有害内容的问题。现有方法，如过滤、规则干预或对抗训练，要么降低生成质量，要么需要大量人工标注，成本高昂且效果有限。因此，需要一种更精准、高效的方法来减少LLMs的毒性输出。

核心思路：论文的核心思路是基于因果推断，识别并干预导致毒性生成的关键注意力头。通过计算每个注意力头对于生成毒性内容的必要性和充分性概率（PNS），确定对毒性具有因果责任的最小头集合。然后，通过干预这些关键头，实现对LLM的解毒。这种方法旨在在不显著影响模型性能的前提下，有效降低毒性。

技术框架：CAUSALDETOX框架包含两个主要阶段：1) 因果头选择：使用PNS指标识别对毒性生成具有因果关系的注意力头。2) 干预：采用两种互补策略干预这些头：a) 局部推理时干预：为每个输入构建动态的、输入特定的引导向量，用于上下文感知的解毒。b) PNS引导的微调：通过微调，永久性地消除有害表示。此外，论文还提出了PARATOX基准，用于评估解毒效果。

关键创新：该论文的关键创新在于将因果推断应用于语言模型解毒，并提出了基于PNS的注意力头选择方法。与现有方法相比，CAUSALDETOX能够更精准地定位导致毒性的关键组件，从而实现更有效的干预。此外，局部推理时干预和PNS引导的微调策略，以及PARATOX基准的提出，都为语言模型解毒领域做出了重要贡献。

关键设计：PNS的计算是关键。论文采用了一种基于反事实推理的方法来估计每个注意力头对于生成毒性内容的必要性和充分性。具体来说，对于每个注意力头，论文会评估在干预该头（例如，将其输出替换为随机向量）后，模型生成毒性内容的概率变化。PNS值越高，表明该头对毒性的因果责任越大。在干预阶段，局部推理时干预通过构建引导向量来调整注意力头的输出，而PNS引导的微调则通过最小化一个包含毒性损失和模型性能损失的联合损失函数来实现。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，CAUSALDETOX在ToxiGen、ImplicitHate和ParaDetox数据集上，与基线方法相比，实现了高达5.34%的毒性降低，同时保持了语言流畅性。此外，CAUSALDETOX在头部选择方面提供了7倍的加速，显著提升了解毒效率。这些结果验证了CAUSALDETOX的有效性和实用性。

🎯 应用场景

CAUSALDETOX可应用于各种需要安全可靠的大型语言模型部署场景，例如智能客服、内容生成、社交媒体监控等。通过降低模型生成有害内容的风险，该方法有助于提升用户体验，减少潜在的法律和声誉风险，并促进人工智能技术的负责任发展。未来，该方法可以扩展到其他类型的有害内容，如偏见和虚假信息。

📄 摘要（原文）

Large language models (LLMs) frequently generate toxic content, posing significant risks for safe deployment. Current mitigation strategies often degrade generation quality or require costly human annotation. We propose CAUSALDETOX, a framework that identifies and intervenes on the specific attention heads causally responsible for toxic generation. Using the Probability of Necessity and Sufficiency (PNS), we isolate a minimal set of heads that are necessary and sufficient for toxicity. We utilize these components via two complementary strategies: (1) Local Inference-Time Intervention, which constructs dynamic, input-specific steering vectors for context-aware detoxification, and (2) PNS-Guided Fine-Tuning, which permanently unlearns toxic representations. We also introduce PARATOX, a novel benchmark of aligned toxic/non-toxic sentence pairs enabling controlled counterfactual evaluation. Experiments on ToxiGen, ImplicitHate, and ParaDetox show that CAUSALDETOX achieves up to 5.34% greater toxicity reduction compared to baselines while preserving linguistic fluency, and offers a 7x speedup in head selection.