TrustMI: Causally controlling how assistants trust their users
作者: Théo Lasnier, Romain Froger, Maxence Lasbordes, Djamé Seddah
分类: cs.CL
发布日期: 2026-10-05
备注: 27 pages, 12 figures, 11 tables
💡 一句话要点
提出TrustMI以因果控制助手对用户的信任
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 信任控制 语言模型 因果推断 安全性 人机交互 模型激活 对比学习
📋 核心要点
- 现有的语言模型助手在判断用户信任度时面临不确定性，可能导致安全隐患。
- 论文提出通过模型激活的因果控制来调节助手对用户的信任程度，探索信任的可控性。
- 实验结果显示，信任决策可以通过引导矩阵单调变化，并在多种安全相关场景中有效应用。
📝 摘要（中文）
大型语言模型（LLM）助手通常需要判断用户及第三方的可信度，但由于无法验证其能力、意图和诚信，这种不确定性对安全性至关重要。错误的信任可能导致助手执行有害请求或恶意指令。本文将信任定义为助手对他人行为的脆弱性接受程度，并探讨是否可以通过模型激活进行因果控制。我们构建了2000个对比对话，涵盖能力、善意和诚信，学习引导矩阵并在六个指令调优模型中测试，发现引导可以单调地改变信任决策。研究结果表明，助手对用户的信任可以沿线性方向因果控制，从而为研究信任如何影响语言模型的安全相关行为提供了新方法。
🔬 方法详解
问题定义：本文解决的是大型语言模型助手在无法验证用户可信度时的信任决策问题。现有方法缺乏对信任度的可控性，可能导致安全风险。
核心思路：论文提出通过模型激活的因果控制来调节助手对用户的信任程度，利用引导矩阵实现信任的可控性，从而提高安全性。
技术框架：整体架构包括数据收集、对比对话构建、引导矩阵学习和模型测试四个主要模块。首先构建2000个对比对话，然后在保持模型参数不变的情况下学习引导矩阵，最后在多个模型上进行测试。
关键创新：最重要的技术创新在于提出了通过引导矩阵实现信任决策的因果控制，这与现有方法的被动响应机制形成鲜明对比。
关键设计：在实验中，使用了六个不同的指令调优模型，保持模型参数不变，学习引导矩阵以实现信任的单调变化，同时控制了良性任务和推理的影响。
🖼️ 关键图片
📊 实验亮点
实验结果表明，通过引导矩阵的学习，助手的信任决策可以在六个不同的指令调优模型中单调变化，且在处理有害请求、提示注入和内部威胁等安全相关场景中表现出显著的改进，提升了模型的安全性和可靠性。
🎯 应用场景
该研究的潜在应用领域包括智能助手、自动化客服和安全监控等。通过因果控制信任度，助手可以更安全地处理用户请求，减少误操作和安全隐患，未来可能在多种人机交互场景中发挥重要作用。
📄 摘要（原文）
Large Language Model (LLM) assistants routinely decide whether they can trust users and third parties whose competence, intentions, and integrity they cannot verify. This uncertainty matters for safety, as trusting the wrong party can lead an agent to comply with harmful requests or act on malicious instructions encountered during tool use. To study this problem, we define trust as an assistant's willingness to accept vulnerability to the actions of another party and ask whether such behavior can be causally controlled through model activations. We build 2,000 contrastive conversations spanning ability, benevolence, and integrity, where paired responses complete the same request but differ in whether the assistant trusts the user. From these pairs, we learn steering matrices while keeping the model parameters frozen and test them across six instruction-tuned models from three families, finding that steering changes trust decisions monotonically in both directions. We then ask whether this effect extends to several safety-related agent settings involving harmful requests, prompt injections, and insider threats, while using benign-task and reasoning as controls. Our findings provide evidence that trust in the user can be causally controlled along linear directions in model activations and provide a way to study how trust shapes safety-relevant behavior in language models.