Recoverability-Controlled Safety Miscalibration in Large Language Models
作者: Yuwei Wang, Xingwang Liang, Yu Xie, Haotian Chi, Haijun Geng
分类: cs.CR, cs.AI
发布日期: 2026-10-15
💡 一句话要点
提出RiskCueBench以解决语言模型安全行为评估问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 安全对齐 语言模型 意图恢复 风险评估 模型性能 基准测试 机器学习
📋 核心要点
- 现有的安全对齐语言模型评估方法常常混淆意图理解与响应安全行为，导致评估结果不准确。
- 本文提出RiskCueBench基准，通过分离意图恢复与安全行为评估，提供更准确的模型性能评估。
- 实验结果显示，在意图恢复的情况下，模型的安全行为存在误校准现象，拒绝率和安全评分显著下降。
📝 摘要（中文）
安全对齐的语言模型应拒绝有害请求，同时对良性请求保持有用性。然而，许多评估方法仅评分最终响应，常常将意图理解与响应级别的安全行为混淆。为了解决这一问题，本文引入了RiskCueBench，这是一个可恢复性控制的基准，首先测量模型是否能成功恢复高层意图，然后在相同提示上评估其安全行为。RiskCueBench包含160个潜在意图和640个抽象非操作性表面提示，涵盖八个风险类别。实验结果表明，在意图恢复的情况下，增加上下文特异性会导致安全行为的下降，拒绝率和全球安全评分分别降低了0.175和0.440。
🔬 方法详解
问题定义：本文旨在解决现有语言模型安全行为评估中意图理解与响应安全行为混淆的问题。现有方法往往只关注最终响应，忽视了意图恢复的过程。
核心思路：论文通过引入RiskCueBench基准，首先评估模型对高层意图的恢复能力，然后在相同提示下评估其安全行为，从而实现对模型性能的更精确评估。
技术框架：RiskCueBench包含160个潜在意图和640个表面提示，覆盖八个风险类别。评估流程分为意图恢复和安全行为两个阶段，确保评估的全面性。
关键创新：最重要的创新在于将意图恢复与安全行为评估分开，提供了一个新的视角来理解模型的安全行为，避免了传统方法的混淆。
关键设计：在实验中，采用了成对引导的自助法来估计拒绝率和安全评分，同时使用混合效应模型分析不安全合作的增加，确保了结果的可靠性。实验数据涵盖了25个模型组和32,000个成功输出。
🖼️ 关键图片
📊 实验亮点
实验结果显示，在意图恢复的情况下，模型的拒绝率下降了0.175，全球安全评分降低了0.440，且不安全合作的增加达到了0.107。这些结果表明，模型的安全行为可能会因表面形式的不同而被误校准，强调了基于语义可恢复性的安全评估的重要性。
🎯 应用场景
该研究的潜在应用领域包括安全对齐的语言模型开发、人工智能助手的安全性评估以及人机交互系统的优化。通过提供更准确的评估基准，能够帮助开发者更好地理解和改进模型的安全行为，从而提升用户体验和信任度。
📄 摘要（原文）
Safety-aligned language models are expected to refuse harmful requests while remaining useful for benign ones. However, because many evaluations score only the final response, they often conflate intent understanding with response-level safety behavior. To address this, we introduce RiskCueBench, a recoverability-controlled benchmark that separates these two stages by first measuring whether a model can successfully recover a high-level intent and then evaluating its safety behavior on the same prompt. RiskCueBench contains 160 latent intents and 640 abstract non-operational surface prompts across eight risk categories. The benchmark covers 25 completed model groups and 32,000 successful model outputs with final rubric-adjudicated labels. When conditioning on pairs where both surface forms are recoverable, we find that increased contextualized specificity induces a shift toward less safe behavior. Specifically, paired bootstrap estimates show that the refusal rate and global safety score decrease by 0.175 and 0.440, respectively. Furthermore, mixed effects modeling corroborates a 0.107 increase in unsafe cooperation. These results show that the safety behavior can be miscalibrated to the surface form even after the intent has been recovered, motivating safety evaluations that report response behavior conditional on semantic recoverability.