Why Do Large Language Models Generate Harmful Content?

📄 arXiv: 2604.11663v1 📥 PDF

作者: Rajesh Ganguli, Raha Moraffah

分类: cs.AI

发布日期: 2026-04-13

💡 一句话要点

提出基于因果中介分析的方法，探究大语言模型生成有害内容的原因。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 有害内容生成 因果中介分析 模型安全性 神经元分析

📋 核心要点

  1. 现有方法对大语言模型生成有害内容的原因缺乏深入研究，无法有效缓解有害生成。
  2. 论文提出基于因果中介分析的方法，从模型层、模块和神经元等多粒度分析有害生成的原因。
  3. 实验表明有害生成主要源于模型后期层的MLP块，并且与特定的神经元门控机制相关。

📝 摘要（中文）

大型语言模型（LLMs）已被证实会生成有害内容。然而，这种行为的根本原因仍未得到充分探索。本文提出了一种基于因果中介分析的方法，以识别导致有害生成的因果因素。我们的方法对模型层、模块（MLP和注意力块）以及单个神经元进行多粒度分析。对最先进的LLM进行的大量实验表明，有害生成出现在模型的后期层，主要源于MLP块的失败而非注意力块，并且与充当有害生成门控机制的神经元相关。结果表明，模型中的早期层用于对提示中的有害性进行上下文理解，然后通过模型传播，从而在后期层中生成有害性，以及通过MLP块指示有害性的信号。然后，这进一步传播到模型的最后一层，特别是传播到一组稀疏的神经元，这些神经元接收信号并相应地确定有害内容的生成。

🔬 方法详解

问题定义：论文旨在解决大型语言模型（LLMs）生成有害内容的原因这一问题。现有方法未能充分探索导致有害生成的根本因素，缺乏对模型内部机制的深入理解，难以有效缓解有害内容的生成。

核心思路：论文的核心思路是利用因果中介分析方法，将有害内容的生成视为一个因果过程，通过识别模型内部的关键中介变量（如层、模块、神经元），来确定哪些因素对有害生成起着关键作用。这种方法能够揭示有害生成背后的因果机制，从而为改进模型、减少有害内容提供指导。

技术框架：该方法主要包含以下几个阶段：1) 选择目标LLM和有害内容数据集；2) 对模型进行多粒度分析，包括模型层、MLP和注意力模块、以及单个神经元；3) 利用因果中介分析技术，量化不同因素对有害生成的影响；4) 分析结果，识别关键的因果因素和机制。

关键创新：该论文的关键创新在于将因果中介分析应用于理解LLM的有害内容生成机制。与以往主要关注输入输出相关性的方法不同，该方法能够揭示模型内部的因果关系，从而更深入地理解有害生成的根本原因。

关键设计：论文的关键设计包括：1) 选择合适的因果中介分析方法，例如基于模型的因果推断方法；2) 设计有效的实验方案，以控制混淆变量，保证因果推断的准确性；3) 选择合适的指标来量化有害内容的生成程度，例如基于人工评估或自动评估的方法；4) 对识别出的关键神经元进行进一步分析，例如通过激活模式分析来理解其功能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，有害生成主要发生在模型的后期层，并且主要与MLP块相关，而非注意力块。此外，研究还发现，有害生成与一组稀疏的神经元密切相关，这些神经元充当了有害生成的门控机制。这些发现为理解和缓解LLM的有害内容生成提供了重要的线索。

🎯 应用场景

该研究成果可应用于提升大型语言模型的安全性，减少有害内容的生成。通过理解有害生成的内在机制，可以设计更有效的防御策略，例如通过修改模型结构、调整训练数据或引入额外的约束来降低有害内容的生成概率。此外，该研究还可以用于评估不同模型的安全性，为模型的部署和应用提供参考。

📄 摘要（原文）

Large Language Models (LLMs) have been shown to generate harmful content. However, the underlying causes of such behavior remain under explored. We propose a causal mediation analysis-based approach to identify the causal factors responsible for harmful generation. Our method performs a multi-granular analysis across model layers, modules (MLP and attention blocks), and individual neurons. Extensive experiments on state-of-the-art LLMs indicate that harmful generation arises in the later layers of the model, results primarily from failures in MLP blocks rather than attention blocks, and is associated with neurons that act as a gating mechanism for harmful generation. The results indicate that the early layers in the model are used for a contextual understanding of harmfulness in a prompt, which is then propagated through the model, to generate harmfulness in the late layers, as well as a signal indicating harmfulness through MLP blocks. This is then further propagated to the last layer of the model, specifically to a sparse set of neurons, which receives the signal and determines the generation of harmful content accordingly.