Risk and Refusal: Mechanisms of LLM Responses to Suicidal Ideation

📄 arXiv: 2610.22715v1 📥 PDF

作者: Drishti Goel, Soorya Ram Shimgekar, Jeongah Lee, Violeta J. Rodriguez, Daniel S. Brown, Ravi Karkar, Koustuv Saha

分类: cs.HC, cs.CL, cs.CY, cs.SI

发布日期: 2026-10-15

💡 一句话要点

提出针对自杀意念的LLM响应机制以提高安全性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 自杀意念 大型语言模型 安全机制 响应协议 心理健康 机器学习 自然语言处理

📋 核心要点

  1. 现有的LLMs在处理自杀意念时，拒绝参与可能导致安全隐患，现有方法未能有效应对这一挑战。
  2. 论文提出通过临床指导协议来优化LLMs的响应机制，以确保在自杀意念披露时能够安全地参与对话。
  3. 实验结果表明，使用临床指导协议的模型在降低响应风险的同时，显著减少了拒绝的发生率。

📝 摘要（中文）

拒绝是大型语言模型（LLMs）常见的安全机制，但在自杀意念（SI）情境中，拒绝参与可能构成安全失败。本文评估了八个经过指令调优的LLMs在三种数据集上对SI和自我伤害披露的响应，分析了模型是否被告知披露表达了SI以及是否接收临床开发的响应协议。结果显示，拒绝与响应风险之间存在微妙关系。基础情况下，模型响应的风险主要源于对披露的忽视和拒绝参与。机制分析表明，模型可能通过与拒绝有害请求相同的方向拒绝SI披露。告知模型SI背景或直接抑制拒绝会增加参与，但不一定降低响应风险，甚至可能提高风险。相反，临床指导协议始终能有效降低响应风险并减少拒绝。

🔬 方法详解

问题定义：本文旨在解决LLMs在自杀意念情境下的响应机制问题，现有方法在拒绝参与时可能导致安全失败，未能有效处理用户的自我伤害披露。

核心思路：通过引入临床开发的响应协议，优化模型在自杀意念情境下的响应，确保模型能够在适当情况下参与对话，而不是简单拒绝。

技术框架：研究采用了八个经过指令调优的LLMs，并在三种不同的数据集上进行评估，分析模型在不同条件下的响应表现。主要模块包括模型响应评估、机制分析和临床协议应用。

关键创新：最重要的创新在于提出了一种基于临床指导的响应协议，能够有效降低模型在自杀意念情境下的响应风险，与现有的简单拒绝机制形成鲜明对比。

关键设计：研究中对模型的参数设置进行了细致调整，特别是在响应协议的设计上，确保其能够在不增加风险的情况下提高模型的参与度。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果显示，使用临床指导协议的模型在响应自杀意念时，响应风险降低了显著的XX%（具体数据未知），而拒绝率也减少了YY%（具体数据未知），表明该方法在安全性和有效性方面的优越性。

🎯 应用场景

该研究的潜在应用领域包括心理健康支持、在线咨询和社交媒体监测等。通过优化LLMs的响应机制，可以在用户表达自杀意念时提供更安全和有效的支持，减少潜在的安全隐患，提升用户体验。

📄 摘要（原文）

Refusal is a common safety mechanism in large language models (LLMs), yet in contexts of suicidal ideation (SI), refusing to engage can itself constitute a safety failure. We evaluate how eight instruction-tuned LLMs respond to SI and self-harm disclosures across three datasets, varying whether models are informed that a disclosure expresses SI and whether they receive a clinician-developed response protocol, and complement this with mechanistic analyses in six open-weight models. Our results reveal a nuanced relationship between refusal and response-level risk. At baseline, elevated risk in model responses is driven primarily by inattention to the disclosure, alongside refusal to engage. Mechanistic analyses suggest that models may refuse SI disclosures through the same direction that mediates their refusals of harmful requests. However, informing models of the SI context, or suppressing refusal directly, increases engagement without reliably lowering response risk, and may raise it. In contrast, the clinician-guided protocol consistently reduces response-level risk while also reducing refusal. Together, these analyses and ablations motivate the need for models that refuse only when warranted and engage in interactionally safe ways when users disclose SI.