Analysing Moral Bias in Finetuned LLMs through Mechanistic Interpretability

📄 arXiv: 2510.12229 📥 PDF

作者: Bianca Raimondi, Daniela Dalbagno, Maurizio Gabbrielli

分类: cs.CL, cs.AI

发布日期: 2026-07-20

💡 一句话要点

通过机制可解释性分析细调LLM中的道德偏见

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 道德偏见 大型语言模型 细调 机制可解释性 层级修补 Knobe效应 社会偏见 人工智能伦理

📋 核心要点

  1. 现有大型语言模型在细调过程中会内化道德偏见，但其具体机制尚不明确，导致偏见的来源难以追踪。
  2. 本研究通过层级修补分析，探讨了Knobe效应在细调LLMs中的表现，并提出了一种定位和缓解偏见的新方法。
  3. 实验结果显示，针对特定层的激活修补可以有效消除道德偏见，且无需对模型进行重新训练，具有重要的实用价值。

📝 摘要（中文）

大型语言模型（LLMs）在细调过程中会内化人类偏见，但这些偏见的具体机制尚不清楚。本研究探讨了著名的Knobe效应——一种在意图判断中的道德偏见，是否在细调的LLMs中出现，并能否追溯到模型的特定组件。我们对3个开放权重的LLMs进行了层级修补分析，结果表明这种偏见不仅在细调过程中学习到，而且局限于特定层。令人惊讶的是，仅通过将预训练模型的激活修补到几个关键层中，就足以消除该效应。我们的发现提供了新的证据，表明LLMs中的社会偏见可以通过针对性干预进行解释、定位和缓解，而无需重新训练模型。

🔬 方法详解

问题定义：本研究旨在解决大型语言模型在细调过程中内化的道德偏见，尤其是Knobe效应的具体机制尚不明确，现有方法无法有效定位和缓解这些偏见。

核心思路：通过层级修补分析，研究者们提出了一种新方法，能够追踪和消除特定层中的道德偏见，而无需重新训练整个模型。

技术框架：研究采用了层级修补技术，分析了3个开放权重的LLMs，重点关注模型的特定层，以确定偏见的来源和消除方法。

关键创新：本研究的主要创新在于发现道德偏见不仅在细调过程中学习到，而且可以通过简单的激活修补在特定层中消除，这与传统的模型重训练方法形成鲜明对比。

关键设计：研究中采用了层级修补技术，具体包括选择关键层进行激活修补，确保修补后的模型能够有效消除Knobe效应，且保持其他功能的完整性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，通过将预训练模型的激活修补到关键层中，可以有效消除Knobe效应，且这一过程无需重新训练模型。该方法在消除偏见方面表现出显著的效果，提供了新的思路和方法论，具有重要的实用价值。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、社交媒体内容审核和人工智能伦理等。通过有效识别和缓解模型中的道德偏见，可以提升AI系统的公平性和透明度，促进其在社会中的接受度和应用价值。未来，该方法还可能推广至其他类型的偏见分析与干预。

📄 摘要（原文）

Large language models (LLMs) have been shown to internalize human-like biases during finetuning, yet the mechanisms by which these biases manifest remain unclear. In this work, we investigated whether the well-known Knobe effect, a moral bias in intentionality judgements, emerges in finetuned LLMs and whether it can be traced back to specific components of the model. We conducted a Layer-Patching analysis across 3 open-weights LLMs and demonstrated that the bias is not only learned during finetuning but also localized in a specific set of layers. Surprisingly, we found that patching activations from the corresponding pretrained model into just a few critical layers is sufficient to eliminate the effect. Our findings offer new evidence that social biases in LLMs can be interpreted, localized, and mitigated through targeted interventions, without the need for model retraining.