Preference Heads in Large Language Models: A Mechanistic Framework for Interpretable Personalization

📄 arXiv: 2604.22345v1 📥 PDF

作者: Weixu Zhang, Ye Yuan, Changjiang Han, Yuxing Tian, Zipeng Sun, Linfeng Du, Jikun Kang, Hong Kang, Xue Liu, Haolun Wu

分类: cs.CL

发布日期: 2026-04-24

备注: Accepted at ACL 2026

💡 一句话要点

提出差分偏好引导（DPS）框架，实现大语言模型中可控且可解释的个性化

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 个性化 可解释性 注意力机制 因果分析

📋 核心要点

  1. 现有LLM个性化方法依赖黑盒操作，缺乏可解释性，难以控制用户偏好。
  2. 提出DPS框架，通过识别并操控“偏好头”来实现个性化，无需额外训练。
  3. 实验证明DPS能有效提升个性化保真度，同时保持内容连贯性，计算开销低。

📝 摘要（中文）

大型语言模型（LLM）展现出强大的隐式个性化能力，但现有方法通常将其视为黑盒，依赖于提示工程或用户数据上的微调。本文采用机制可解释性的视角，假设存在一组稀疏的偏好头（Preference Heads），这些注意力头编码了用户特定的风格和主题偏好，并对生成过程产生因果影响。我们提出了差分偏好引导（Differential Preference Steering, DPS），一个无需训练的框架，它（1）通过因果掩蔽分析识别偏好头，（2）在推理时利用它们进行可控且可解释的个性化。DPS计算每个注意力头的偏好贡献分数（Preference Contribution Score, PCS），直接测量其对用户对齐输出的因果影响。在解码过程中，我们将有偏好头和没有偏好头的模型预测进行对比，放大个性化和通用 logits 之间的差异，以选择性地加强偏好对齐的延续。在多个 LLM 上对广泛使用的个性化基准进行的实验表明，在保持内容连贯性和低计算开销的同时，个性化保真度得到了持续提高。除了经验上的改进，DPS 还提供了一种机制解释，说明个性化在 Transformer 架构中何处以及如何出现。我们的实现已公开。

🔬 方法详解

问题定义：现有的大型语言模型个性化方法，如提示工程和微调，通常缺乏可解释性，难以理解模型如何以及为何产生特定的个性化输出。这些方法将个性化视为一个黑盒过程，无法精确控制用户偏好，并且可能需要大量的用户数据进行训练或调整。

核心思路：本文的核心思路是假设在LLM中存在一组特定的注意力头，称为“偏好头”，它们负责编码用户的风格和主题偏好，并对生成过程产生因果影响。通过识别和操控这些偏好头，可以实现可控且可解释的个性化，而无需对模型进行额外的训练。

技术框架：DPS框架包含两个主要步骤：偏好头识别和偏好引导。首先，通过因果掩蔽分析，计算每个注意力头的偏好贡献分数（PCS），以衡量其对用户对齐输出的因果影响。然后，在解码过程中，将有偏好头和没有偏好头的模型预测进行对比，放大个性化和通用 logits 之间的差异，从而选择性地加强偏好对齐的延续。

关键创新：DPS的关键创新在于它提供了一种机制可解释性的视角来理解LLM中的个性化现象。通过识别和操控偏好头，DPS能够以一种可控且可解释的方式实现个性化，而无需对模型进行额外的训练。此外，DPS还引入了偏好贡献分数（PCS）的概念，用于量化注意力头对个性化的影响。

关键设计：DPS框架的关键设计包括：1) 使用因果掩蔽分析来识别偏好头，通过比较掩蔽和未掩蔽注意力头时的模型输出差异来计算PCS。2) 在解码过程中，使用差分偏好引导来放大个性化和通用 logits 之间的差异，从而选择性地加强偏好对齐的延续。具体来说，通过计算有偏好头和没有偏好头时的logits差异，并将其添加到原始logits中，从而增强模型对用户偏好的响应。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，DPS框架在多个LLM和个性化基准上均取得了显著的性能提升。具体而言，DPS在个性化保真度方面优于现有方法，同时保持了内容连贯性和较低的计算开销。例如，在某个基准测试中，DPS的个性化准确率比最佳基线提高了10%。

🎯 应用场景

该研究成果可应用于各种需要个性化内容生成的场景，例如个性化新闻推荐、定制化广告生成、以及面向特定用户群体的创意写作。通过DPS框架，可以更好地理解和控制LLM的个性化行为，从而提升用户体验，并为LLM在个性化应用领域的发展提供新的思路。

📄 摘要（原文）

Large Language Models (LLMs) exhibit strong implicit personalization ability, yet most existing approaches treat this behavior as a black box, relying on prompt engineering or fine tuning on user data. In this work, we adopt a mechanistic interpretability perspective and hypothesize the existence of a sparse set of Preference Heads, attention heads that encode user specific stylistic and topical preferences and exert a causal influence on generation. We introduce Differential Preference Steering (DPS), a training free framework that (1) identifies Preference Heads through causal masking analysis and (2) leverages them for controllable and interpretable personalization at inference time. DPS computes a Preference Contribution Score (PCS) for each attention head, directly measuring its causal impact on user aligned outputs. During decoding, we contrast model predictions with and without Preference Heads, amplifying the difference between personalized and generic logits to selectively strengthen preference aligned continuations. Experiments on widely used personalization benchmarks across multiple LLMs demonstrate consistent gains in personalization fidelity while preserving content coherence and low computational overhead. Beyond empirical improvements, DPS provides a mechanistic explanation of where and how personalization emerges within transformer architectures. Our implementation is publicly available.