Before Retrieval Begins: Safety and Tool-Use Decisions in LLM Agents
作者: Aditya Nawal, Manit Baser, Mohan Gurusamy
分类: cs.CL
发布日期: 2026-10-16
备注: 19 pages, 5 figures. Preprint version of a manuscript submitted to Transactions of the Association for Computational Linguistics (TACL)
💡 一句话要点
探讨大型语言模型工具调用前的安全决策机制
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 工具调用 安全决策 书面拒绝训练 因子干预 模型评估 有害请求
📋 核心要点
- 现有的工具安全研究主要关注工具调用后的影响，而对调用前的决策过程缺乏深入分析，可能导致安全隐患。
- 论文通过对输入请求进行因子干预，识别影响工具调用决策的因素，提出书面拒绝训练作为提升安全性的手段。
- 实验结果显示，书面拒绝训练能有效减少有害请求的承认率，且在某些模型中，书面拒绝与工具调用决策存在关联。
📝 摘要（中文）
随着大型语言模型（LLM）越来越多地作为调用外部工具的代理，现有的工具安全研究主要集中在工具调用后的影响，而对工具调用前的决策过程关注不足。研究发现，在七个开放权重模型中，承认有害请求后的平均伤害率为74.5%。通过对输入请求进行因子干预，研究识别出影响这一决策的因素。中和请求操作成分产生了最大的承认对比（19个百分点）。此外，书面拒绝与相同决策的行为和表征相关联，书面拒绝训练能够减少模型中安全性较低的调用。这些结果表明，书面拒绝与工具调用之间存在部分模型依赖关系，强调了直接评估和监督工具调用的重要性。
🔬 方法详解
问题定义：本研究旨在探讨大型语言模型在调用外部工具前的安全决策过程。现有方法主要集中在工具调用后的安全性分析，忽视了前期决策对安全性的影响。
核心思路：通过对输入请求进行因子干预，识别影响工具调用决策的关键因素，特别是请求操作成分的影响。同时，研究书面拒绝训练对安全决策的潜在影响。
技术框架：研究首先对七个开放权重模型进行实验，分析在不同干预下的工具调用决策。通过中和请求操作成分，观察承认对比的变化，并测试书面拒绝训练的效果。
关键创新：本研究的创新点在于首次系统性地分析了工具调用前的决策过程，提出书面拒绝训练作为提升模型安全性的有效手段，强调了直接评估工具调用的重要性。
关键设计：在实验中，设置了不同的输入请求干预，特别是中和请求操作成分的设计，观察其对模型承认率的影响。同时，书面拒绝训练的实施也经过精心设计，以确保其对模型安全性的有效提升。
🖼️ 关键图片
📊 实验亮点
实验结果表明，在七个模型中，书面拒绝训练能够将有害请求的承认率降低至33.6%。此外，通过中和请求操作成分，最大承认对比达到了19个百分点，显示出显著的安全性提升。
🎯 应用场景
该研究的潜在应用领域包括智能助手、自动化客服和其他依赖大型语言模型的系统。通过提升工具调用的安全性，可以有效降低系统在处理有害请求时的风险，增强用户信任，推动智能系统的广泛应用和发展。
📄 摘要（原文）
Large language models increasingly act as agents that call external tools, yet most tool-safety research examines only what follows a tool call. The prior decision of whether to call the tool remains largely unexamined and can influence downstream safety. Across the seven open-weight models, the unweighted model-average harm rate after admitted harmful requests is 74.5%. To identify what governs this decision, we apply a factorial intervention to the input request. Within our generated construction, neutralizing the requested-operation component produces the largest admission contrast (19 pp). A linear direction estimated from this contrast influences held-out admission in four of seven models; effects on operation-neutralized requests in some models show that it is not an operation-specific mechanism. We then test whether written refusal is behaviorally and representationally coupled to the same decision. Written refusal accompanies 33.6% of admitted harmful calls. Plain-text refusal training reduces unsafe admission in models that retain benign tool use, showing that response-level safety training can transfer to the call decision. Together, these results establish a partial, model-dependent relation between written refusal and tool admission. They motivate direct evaluation and supervision of tool admission rather than treating text refusal as its proxy.