LLM Persona Unlearning

📄 arXiv: 2609.39882v1 📥 PDF

作者: Kemou Li, Zhuan Shi, Qizhou Wang, Fengpeng Li, Negar Rostamzadeh, Golnoosh Farnadi, Jiantao Zhou

分类: cs.CL, cs.LG

发布日期: 2026-09-30

💡 一句话要点

提出PersonaUnlearnBench以解决大语言模型的角色遗忘问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 角色遗忘 行为调整 模型训练 智能助手 对话系统

📋 核心要点

  1. 现有方法无法有效消除大语言模型中的不必要角色，导致生成内容受到影响。
  2. 论文提出PaCE方法，通过比较目标和理想响应，训练模型朝向理想行为方向。
  3. 实验结果表明，PaCE在抑制目标角色的同时，保持了高质量的响应，且实用性损失适中。

📝 摘要（中文）

预训练使大语言模型（LLMs）具备多种行为模式，但后续训练并未消除这些模式，导致在特定提示下仍可激活不必要的角色。本文提出PersonaUnlearnBench，一个涵盖六种LLM和五种角色的基准，展示了标准遗忘方法无法有效消除目标角色。为此，提出PaCE方法，通过比较目标与理想响应，训练模型朝向理想响应，实验表明PaCE能够高效抑制目标角色，同时保持响应质量。

🔬 方法详解

问题定义：本文旨在解决大语言模型中不必要角色的遗忘问题。现有方法在消除目标角色时，往往会牺牲生成内容的质量和实用性。

核心思路：论文提出PaCE方法，通过对比目标响应与理想响应，识别内部行为方向，从而训练模型远离目标角色，向理想响应靠拢。

技术框架：整体流程包括：首先通过对比分析确定目标与理想响应，然后进行模型训练，调整目标提示状态，最终实现角色的抑制与响应质量的提升。

关键创新：PaCE方法的核心创新在于其行为方向定位机制，与传统的遗忘方法不同，它不单纯依赖于权重修改，而是通过响应对比实现行为的调整。

关键设计：在实现过程中，设置了特定的损失函数以优化目标与理想响应之间的差异，同时采用了适应性学习率和多轮训练策略，以确保模型在抑制目标角色的同时，保持生成内容的高质量。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，PaCE方法在抑制目标角色方面表现出色，响应质量保持在高水平，且实用性损失仅为中等。与标准遗忘方法相比，PaCE在角色控制的有效性和生成质量上均有显著提升。

🎯 应用场景

该研究的潜在应用领域包括智能助手、对话系统和个性化推荐等。通过有效的角色遗忘机制，可以提升用户体验，减少不必要的偏见和误导，未来可能在多种人机交互场景中发挥重要作用。

📄 摘要（原文）

Pre-training equips large language models (LLMs) with a broad repertoire of behavioral patterns associated with roles, styles, values, and goals. Post-training teaches conditional enactment and makes a helpful Assistant the default, but it does not erase alternative modes from the weights; explicit prompts can therefore elicit personas that repeatedly shape judgment, language, and action. In open-weight settings, runtime controls can be removed, motivating persona unlearning: a weight-level edit that makes a designated persona difficult to elicit and enact on unseen contexts. We introduce PersonaUnlearnBench, a model-specific paired benchmark spanning six LLMs from three families and five personas, with aligned forget/retain sets, held-out instruction paraphrases, and four-axis evaluation. The benchmark shows that standard unlearning methods cannot reliably erase the target persona without sacrificing meaningful generation or general utility. We therefore propose PaCE, which compares target and desirable responses to the same questions to locate an internal behavior direction, then trains target-prompt states away from the target mode and toward the matched desirable response. Experiments show that PaCE consistently suppresses target personas with high response quality and useful counterpart behavior, at moderate utility cost. These results establish persona unlearning as a distinct behavior-level editing problem and a practical route toward persistent control of latent LLM response policies.