DistressBench: Evaluating Multi-Dimensional Crisis Support in Large Language Models
作者: Drew Rein, Patrick Oathout, Vishal Kumar, Udari Madhushani Sehwag
分类: cs.CL, cs.CY
发布日期: 2026-10-08
备注: 39 pages, 9 figures, 13 tables
💡 一句话要点
提出DistressBench以评估语言模型在危机支持中的表现
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 危机支持 语言模型 自杀预防 多维度评估 心理健康 模型评估 临床参考
📋 核心要点
- 现有的语言模型评估方法主要关注拒绝行为，无法有效评估其在危机支持中的实际表现。
- 本文提出DistressBench，通过718个对话和加权评分标准，评估模型在危机支持中的响应质量。
- 实验结果表明，最佳模型在危机识别和支持响应方面的表现显著优于中位模型，且多轮对话的得分低于单轮对话。
📝 摘要（中文）
语言模型的应用速度超过了可靠评估其风险的实践，尤其是在情感支持方面。用户在交流中可能会透露自杀和自残危机。现有的安全基准主要关注模型的拒绝行为，但在此场景中，真正需要的是实质性的支持性回应。本文提出了DistressBench，包含718个英语对话，涵盖23个自杀和自残子类别，并配有针对性评分标准。实验结果显示，最佳模型满足88.4%的加权标准，而中位模型为71.4%，相比之下，临床参考模型得分为98.7%。研究强调了评估危机安全时应关注模型提供的关怀，而非拒绝的内容。
🔬 方法详解
问题定义：本文旨在解决现有语言模型在危机支持场景中的评估不足，特别是对自杀和自残危机的响应能力。现有方法主要关注模型的拒绝行为，未能有效评估其提供的支持性回应。
核心思路：论文提出DistressBench，通过构建包含718个对话的语料库，结合临床专家的评分标准，评估模型在危机支持中的表现，强调提供实质性支持的重要性。
技术框架：整体架构包括数据收集、评分标准设计和模型评估三个主要模块。数据收集阶段涵盖多种危机情境，评分标准则基于七个维度的危机支持进行设计，最后通过对比模型的响应与临床参考进行评估。
关键创新：最重要的创新在于引入了多维度的危机支持评估标准，强调模型在危机情境中应提供的支持性回应，而非仅仅拒绝不当内容。这一方法与传统的单一拒绝评估方法本质上不同。
关键设计：在评分标准中，采用了加权原子标准，涵盖了七个维度的危机支持，模型得分为其满足标准的加权平均值。此外，实验中还考虑了多轮对话与单轮对话的表现差异。
🖼️ 关键图片
📊 实验亮点
实验结果显示，最佳模型在危机支持的加权标准上达到了88.4%的满足率，而中位模型为71.4%。在满足所有危机识别标准的情况下，25个模型中有35.3%的对话未能有效引导用户寻求人工帮助，显示出在支持性回应方面的显著不足。
🎯 应用场景
该研究的潜在应用领域包括心理健康支持、在线咨询服务和社交媒体监控等。通过改进语言模型在危机情境中的响应能力，可以为用户提供更有效的支持，降低自杀和自残事件的发生率，具有重要的社会价值和实际影响。
📄 摘要（原文）
Language models have been adopted faster than evaluation practices that reliably assess their risks, and a growing share of use is affective rather than informational. Within that traffic users disclose suicide and self-harm (SSH) crises. Existing safety benchmarks score models primarily on refusal, but refusal is not the desired behavior here; the conversation requires a substantive supportive response. We introduce DistressBench, 718 English conversations with clinician-authored user turns spanning 23 SSH subcategories, each paired with a task-specific rubric of weighted atomic criteria across seven dimensions of crisis support and a clinician reference response. A model's score is the weighted average over the criteria its reply satisfies, reading directly as the fraction of required care delivered. The best of 25 frontier models satisfies 88.4% of weighted criteria and the median model 71.4%, against 98.7% for clinician references scored on the same criteria. Pooled across all 25 models, in 35.3% of conversations where a model satisfied every criterion for recognizing the crisis, it failed to route the user toward human help. The shortfall concentrates in the dimensions requiring the model to act rather than withhold. Contrasting each dimension's median model against its best separates capability limits from choices: de-escalation reaches 74.6% in the strongest model against a median of 46.0%, and safety disclaimers 84.6% against 8.3%. Multi-turn conversations score below single-turn ones (68.5% against 74.2%). We release the corpus, rubrics, judge calibration labels, and a companion annex of 20 long-horizon red-team transcripts. These results argue for evaluating crisis safety on the care a model delivers rather than on what it declines to say, and for treating de-escalation and resource routing as deployment requirements.