User Model Extraction via Belief Self-Distillation

📄 arXiv: 2609.31603v1 📥 PDF

作者: Ali Holmov, Yiran Huang, Kirill Bykov, Zeynep Akata

分类: cs.LG, cs.CL

发布日期: 2026-09-25

💡 一句话要点

提出信念自蒸馏方法以提取用户模型

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 用户模型 信念自蒸馏 大型语言模型 因果推断 AI安全

📋 核心要点

  1. 现有方法难以检查和操控大型语言模型中隐式推断的用户信念，限制了其应用。
  2. 本文提出信念自蒸馏（BSD）方法，通过学习用户的紧凑表示，允许模型自我提炼信念。
  3. 实验结果表明，BSD能够有效恢复用户信念，并实现比传统方法更强的干预能力。

📝 摘要（中文）

大型语言模型（LLMs）能够隐式推断用户属性并相应调整行为，但这些信念难以检查和操控。本文提出信念自蒸馏（BSD）方法，构建了一个统一的读写框架，通过学习紧凑的用户表示，既可解码又可写回模型。冻结的LLM作为自身的教师，从自然对话中提炼信念，无需外部标注。与传统探测方法不同，BSD不仅隔离激活中的信息，还能直接测试其因果角色。实验表明，BSD能够忠实恢复用户信念，并实现比匹配隐藏状态引导更强的干预效果。研究发现，拒绝响应不仅依赖请求，还依赖模型推断的用户意图，改变这一信念会在请求不变的情况下改变拒绝响应。进一步发现，独立训练的LLMs在用户表示上收敛于共享几何结构，这些结果揭示了隐式用户模型作为可读和可因果写入的内部状态，对AI安全具有直接影响。

🔬 方法详解

问题定义：本文旨在解决大型语言模型中用户信念的提取和操控问题。现有方法无法有效检查和干预这些隐式信念，限制了模型的可解释性和安全性。

核心思路：提出信念自蒸馏（BSD）方法，利用冻结的LLM作为自身教师，从自然对话中提炼用户信念，形成可读和可写的用户表示。

技术框架：BSD方法包括两个主要模块：信念提取模块和信念写入模块。信念提取模块从对话中学习用户信念，信念写入模块则将这些信念反馈到模型中。

关键创新：BSD的核心创新在于其能够同时实现信念的提取和操控，区别于传统的探测方法，后者通常只关注信息的提取而不考虑因果关系。

关键设计：在模型设计中，采用了特定的损失函数以优化信念提取的准确性，并通过对比学习增强用户表示的紧凑性和可操作性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，信念自蒸馏方法在多个模型家族中有效恢复用户信念，相较于传统的匹配隐藏状态引导，干预能力显著增强。具体而言，BSD方法在用户意图的推断上表现出更高的准确性和灵活性，能够在请求不变的情况下改变拒绝响应。

🎯 应用场景

该研究的潜在应用领域包括个性化推荐系统、智能助手和人机交互等。通过提取和操控用户信念，模型能够更好地理解用户意图，从而提供更为精准的服务，提升用户体验。此外，研究结果对AI安全性具有重要影响，能够帮助开发更安全的AI系统。

📄 摘要（原文）

Large language models (LLMs) implicitly infer attributes of their users and adapt their behavior accordingly, yet these beliefs remain difficult to inspect and causally manipulate. We introduce Belief Self-Distillation (BSD), a unified read-write framework that bridges linear and causal probing by learning a compact user representation that can be both decoded and written back into the model. The frozen LLM acts as its own teacher, distilling beliefs from natural conversations without external annotations. Unlike conventional probing, BSD isolates not only information present in activations, but a state whose causal role can be directly tested. Across multiple model families, BSD faithfully recovers user beliefs and enables substantially stronger interventions than matched hidden-state steering. Crucially, we find that refusal depends not only on the request, but on the model's inferred user intent: changing this belief alters refusal while holding the request fixed. We further uncover a striking cross-model regularity: independently trained LLMs converge on a shared geometry for representing their users. Together, these results reveal implicit user models as readable and causally writable internal states with direct implications for AI safety, shaping how models condition safety decisions on whom they believe they are interacting with.