Tool Mediation Alters Refusal Mechanisms in Large Language Models
作者: Abel Rodríguez, Giuseppe Garofalo, Lieven Desmet, Vera Rimmer
分类: cs.AI
发布日期: 2026-09-28
💡 一句话要点
探讨工具介导如何改变大型语言模型的拒绝机制
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 工具介导 拒绝机制 安全性评估 有害请求
📋 核心要点
- 现有的工具介导交互中，模型对有害请求的拒绝机制较弱，导致潜在的安全隐患。
- 本文通过分析不同语言模型的表现，揭示了工具介导交互与常规对话在拒绝机制上的根本差异。
- 实验结果表明，工具介导的输入在拒绝有害请求时需要更高的阈值，且拒绝机制更为脆弱。
📝 摘要（中文）
大型语言模型（LLMs）越来越多地与外部工具结合使用，但与常规对话相比，工具介导的有害交互更不容易被拒绝。本文探讨了这种拒绝行为变化的潜在机制，发现有害请求的信息在模型的表示中仍然被强烈编码，并在对话和工具介导的输入之间转移。通过表示几何和神经元级分析的证据表明，这两种交互模式在有害计算的分布上存在系统性差异。重要的是，尽管对话输入可以在相对较低的感知有害性水平下被拒绝，但工具介导的输入在有害性超过显著更高的拒绝阈值之前仍然保持宽容。此外，工具介导的拒绝也更脆弱：逐渐削弱拒绝计算会在较低的干预强度下破坏工具介导的拒绝，即使良性能力仍然完好。总体而言，这表明工具介导的环境可能内在地降低模型对有害请求的鲁棒性，传统的安全评估可能无法完全转移到LLM代理上。
🔬 方法详解
问题定义：本文旨在解决大型语言模型在工具介导交互中对有害请求的拒绝机制不足的问题。现有方法未能充分探讨工具介导交互对拒绝行为的影响，导致安全性评估不足。
核心思路：研究通过对比分析不同类型的输入（对话与工具介导），揭示其在拒绝有害请求时的表现差异，进而探讨其背后的机制。
技术框架：研究采用多种开放权重语言模型进行实验，分析其表示几何和神经元级别的计算分布，主要模块包括数据收集、模型训练、拒绝机制分析等。
关键创新：本文的主要创新在于揭示了工具介导交互与常规对话在拒绝机制上的系统性差异，强调了工具介导环境对模型鲁棒性的潜在影响。
关键设计：实验中采用了不同的输入类型和干预强度，分析了模型在不同条件下的拒绝能力，关注了模型的表示学习和计算分布的变化。
🖼️ 关键图片
📊 实验亮点
实验结果显示，工具介导的输入在拒绝有害请求时的有效阈值显著高于对话输入，且拒绝机制在较低干预强度下更易受到破坏。这表明工具介导环境可能降低模型的整体鲁棒性。
🎯 应用场景
该研究的潜在应用领域包括安全性评估、人工智能助手和自动化工具的设计。通过理解工具介导交互的拒绝机制，可以为开发更安全的AI系统提供理论基础，减少有害请求的风险，提升用户信任度。
📄 摘要（原文）
Large language models (LLMs) are increasingly deployed with access to external tools, yet harmful tool-mediated interactions are less likely to be refused when compared to regular conversational ones. As this change in refusal behavior remains underexplored, we investigate its underlying mechanisms across a diverse set of open-weight language models. We find that information about the harmfulness of a request remains strongly encoded in the model's representations and transfers across conversational and tool-mediated inputs. Evidence from representation geometry and neuron-level analysis further indicates that the two interaction modes systematically distribute harm-related computation differently. Crucially, while conversational inputs can be refused at relatively low levels of perceived harmfulness, tool-mediated inputs remain permissive until harmfulness crosses a substantially higher effective refusal threshold. Moreover, tool-mediated refusal is also more brittle: progressively weakening the refusal computation disrupts tool-mediated refusal at lower intervention strengths than conversational refusal, even when benign capabilities remain intact. Together, our findings indicate that tool mediation does not simply reduce the internal perception of harm, but instead impacts its conversion into refusal. Overall, this suggests tool-mediated environments may intrinsically reduce robustness of models to harmful requests, and that conventional safety evaluations may not fully transfer to LLM agents.