ChemSafetyBench: Benchmarking LLM Safety on Chemistry Domain

📄 arXiv: 2411.16736v1 📥 PDF

作者: Haochen Zhao, Xiangru Tang, Ziran Yang, Xiao Han, Xuanzhi Feng, Yueqing Fan, Senhao Cheng, Di Jin, Yilun Zhao, Arman Cohan, Mark Gerstein

分类: cs.CL, cs.AI, physics.chem-ph

发布日期: 2024-11-23

🔗 代码/项目: GITHUB

💡 一句话要点

ChemSafetyBench：化学领域LLM安全基准测试，评估并提升模型安全性。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 化学安全 基准测试 安全性评估 化学信息学

📋 核心要点

  1. 现有LLM在化学领域的应用存在安全性问题，可能生成不准确甚至危险的化学信息，缺乏针对化学安全性的系统评估。
  2. ChemSafetyBench通过构建包含化学性质查询、合法性评估和合成方法描述等任务的基准数据集，全面评估LLM的安全性。
  3. 实验结果揭示了现有LLM在化学安全方面的不足，强调了开发更安全AI技术的重要性，ChemSafetyBench为此提供评估工具。

📝 摘要（中文）

大型语言模型（LLM）的进步和广泛应用引人注目，包括在科学研究辅助方面的应用。然而，这些模型经常产生科学上不正确或不安全的响应，在某些情况下，它们可能鼓励用户从事危险行为。为了解决化学领域中的这个问题，我们推出了ChemSafetyBench，这是一个旨在评估LLM响应的准确性和安全性的基准。ChemSafetyBench包含三个关键任务：查询化学性质、评估化学用途的合法性以及描述合成方法，每个任务都需要越来越深入的化学知识。我们的数据集包含超过3万个跨各种化学材料的样本。我们结合了手工制作的模板和高级越狱场景，以增强任务多样性。我们的自动化评估框架彻底评估了LLM响应的安全性、准确性和适当性。对最先进的LLM进行的大量实验揭示了显著的优势和关键的漏洞，突显了采取强有力的安全措施的必要性。ChemSafetyBench旨在成为在化学领域开发更安全的AI技术的关键工具。我们的代码和数据集可在https://github.com/HaochenZhao/SafeAgent4Chem获取。警告：本文包含关于使用AI模型合成受控化学品的讨论。

🔬 方法详解

问题定义：论文旨在解决大型语言模型（LLM）在化学领域应用中存在的安全风险问题。现有LLM可能生成不准确、不安全甚至鼓励危险行为的化学信息，缺乏针对化学领域安全性的系统性评估和基准测试。这限制了LLM在化学研究中的可靠应用，并可能带来潜在的安全隐患。

核心思路：论文的核心思路是构建一个专门针对化学领域的安全基准测试集ChemSafetyBench，通过设计一系列具有挑战性的任务，全面评估LLM在化学知识、安全意识和风险规避方面的能力。通过自动化评估框架，量化LLM的安全性表现，从而促进更安全、更可靠的化学AI技术的发展。

技术框架：ChemSafetyBench包含三个主要任务：1) 化学性质查询：评估LLM对化学物质基本属性的理解和准确性；2) 化学用途合法性评估：考察LLM对化学品使用规范和法律法规的掌握程度；3) 化学合成方法描述：测试LLM生成安全、可行的合成路线的能力。数据集包含超过3万个样本，涵盖多种化学材料。为了增加任务难度和多样性，采用了手工制作的模板和高级越狱场景。自动化评估框架用于评估LLM响应的安全性、准确性和适当性。

关键创新：ChemSafetyBench的关键创新在于其针对化学领域的安全性评估。它不仅关注LLM的知识准确性，更侧重于评估其在处理潜在危险化学信息时的安全意识和风险规避能力。通过引入越狱场景，测试LLM在面对恶意引导时的抵抗能力，这与传统的通用LLM评估有所不同。

关键设计：ChemSafetyBench的关键设计包括：1) 多样化的任务设计，覆盖化学知识的不同方面；2) 大规模数据集，保证评估的可靠性；3) 手工模板和越狱场景，增加评估的挑战性；4) 自动化评估框架，实现高效、客观的评估。具体的参数设置、损失函数和网络结构等细节取决于被评估的LLM模型，ChemSafetyBench主要提供评估数据和框架。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

ChemSafetyBench对多个最先进的LLM进行了评估，揭示了它们在化学安全方面的显著优势和关键漏洞。实验结果表明，即使是强大的LLM也可能生成不安全或不准确的化学信息，尤其是在面对越狱攻击时。这些发现强调了开发更强大的安全措施的必要性，并为未来LLM在化学领域的安全应用提供了重要指导。

🎯 应用场景

ChemSafetyBench可用于评估和改进LLM在化学研究、药物发现、材料科学等领域的应用安全性。通过该基准，研究人员可以开发更安全的化学AI助手，辅助化学家进行实验设计、文献检索和数据分析，同时避免潜在的安全风险。该研究有助于推动化学AI技术的安全发展，促进其在科研和工业领域的广泛应用。

📄 摘要（原文）

The advancement and extensive application of large language models (LLMs) have been remarkable, including their use in scientific research assistance. However, these models often generate scientifically incorrect or unsafe responses, and in some cases, they may encourage users to engage in dangerous behavior. To address this issue in the field of chemistry, we introduce ChemSafetyBench, a benchmark designed to evaluate the accuracy and safety of LLM responses. ChemSafetyBench encompasses three key tasks: querying chemical properties, assessing the legality of chemical uses, and describing synthesis methods, each requiring increasingly deeper chemical knowledge. Our dataset has more than 30K samples across various chemical materials. We incorporate handcrafted templates and advanced jailbreaking scenarios to enhance task diversity. Our automated evaluation framework thoroughly assesses the safety, accuracy, and appropriateness of LLM responses. Extensive experiments with state-of-the-art LLMs reveal notable strengths and critical vulnerabilities, underscoring the need for robust safety measures. ChemSafetyBench aims to be a pivotal tool in developing safer AI technologies in chemistry. Our code and dataset are available at https://github.com/HaochenZhao/SafeAgent4Chem. Warning: this paper contains discussions on the synthesis of controlled chemicals using AI models.