SciHazard: A Benchmark for Measuring Scientific Safety Risks with Decomposed Harm Scoring
作者: Chunxiao Li, Yuan Xiong, Lijun Li, Tianyi Du, Wenlong Zhang, Lei Bai, Jing Shao
分类: cs.AI
发布日期: 2026-07-21
💡 一句话要点
提出SciHazard基准以评估科学安全风险
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 科学安全 风险评估 大型语言模型 数据集 评估框架 深度学习 专家一致性
📋 核心要点
- 现有方法多依赖模板查询，缺乏与现实世界危险的关联，导致评估结果不够准确。
- 提出SciHazard基准，通过2400个危险问题和600个过度安全问题，结合分解评估程序来衡量科学风险。
- 实验结果表明， extsc{DeHarm-Score}相比最强基线提高了90.17%的专家一致性，深度研究代理的得分更高。
📝 摘要（中文）
大型语言模型（LLMs）在科学领域的应用日益广泛，但它们也可能将危险的科学知识转化为可操作的误用指导。现有基准往往依赖于与现实世界危险脱节的模板查询，并采用缺乏领域基础的LLM评判模式。为了解决这一问题，本文提出了SciHazard，一个基于现实世界的科学风险基准，以及一个数据集无关的评估框架来衡量有害性。SciHazard包含2400个危险问题和600个过度安全问题，涵盖12个学科，所有查询均基于受监管实体和已记录的失败场景。我们开发了分解评估程序 extsc{DeHarm-Score}，结合查询危险严重性、拒绝行为和响应级风险，显著提高了与专家注释的一致性。
🔬 方法详解
问题定义：本文旨在解决现有科学安全评估基准与现实世界危险脱节的问题，现有方法缺乏有效的领域基础和真实场景的考量。
核心思路：提出SciHazard基准，通过构建2400个危险问题和600个过度安全问题，结合 extsc{DeHarm-Score}评估框架，全面评估科学知识的潜在风险。
技术框架：整体架构包括三个主要模块：查询危险严重性评估、拒绝行为分析和响应级风险评估。通过动态检查表和检索增强的声明提取来量化风险。
关键创新： extsc{DeHarm-Score}的分解评估程序是本文的核心创新，能够更细致地分析响应的可执行性和新增风险，与现有方法相比具有更高的准确性。
关键设计：在评估过程中，采用重要性加权的动态检查表来量化可执行性，并通过检索增强的声明提取和合成障碍验证来评估新增风险。
🖼️ 关键图片
📊 实验亮点
实验结果显示， extsc{DeHarm-Score}在与专家注释的一致性上提高了90.17%，并且深度研究代理的平均得分比标准LLMs高出32.3%，揭示了当前安全防御中的关键盲点。
🎯 应用场景
该研究的潜在应用领域包括科学研究、教育和公共安全等。通过提供一个可靠的评估框架，SciHazard可以帮助研究人员和政策制定者识别和降低科学知识的误用风险，从而提高科学传播的安全性和有效性。
📄 摘要（原文）
Large language models (LLMs) increasingly support science, but they can also convert hazardous scientific knowledge into actionable misuse guidance. Existing benchmarks often rely on templated queries disconnected from real-world hazards, and employ LLM-as-a-Judge paradigms without domain grounding. To address this, we introduce SciHazard, a real-world-grounded benchmark for scientific risks and a dataset agnostic evaluation framework for measuring harmfulness. SciHazard contains 2400 hazardous questions and 600 oversafety questions across 12 disciplines, with both queries grounded in regulated entities and documented failure scenarios. To compute \textsc{DeHarm-Score} , we develop a decomposed evaluating procedure that combines query hazard severity, refusal behavior, and response-level risk. For non-refused responses, it further decomposes response-level harm into \textsc{Executability}, quantified via dynamic checklists with importance weighting, and \textsc{Net-new risk}, assessed through retrieval-augmented claim extraction and synthesis-barrier verification. An expert-validation study shows that \textsc{DeHarm-Score} improves agreement with expert annotations by 90.17\% over the strongest baseline. We benchmark 31 frontier LLMs and deep research agents in an extensive scientific safety evaluation. Notably, deep research agents yield 32.3\% higher mean \textsc{DeHarm-Score} than standard LLMs, exposing autonomous agents as a critical blind spot in current safety defenses. Code and dataset are available at https://anonymous.4open.science/r/DeharmScore-7B55.