Is Safety Standard Same for Everyone? User-Specific Safety Evaluation of Large Language Models

📄 arXiv: 2502.15086v2 📥 PDF

作者: Yeonjun In, Wonjoong Kim, Kanghoon Yoon, Sungchul Kim, Mehrab Tanjim, Sangwu Park, Kibum Kim, Chanyoung Park

分类: cs.CL

发布日期: 2025-02-20 (更新: 2025-10-23)

备注: EMNLP 2025 Findings

🔗 代码/项目: GITHUB

💡 一句话要点

提出U-SafeBench，评估大语言模型在用户特定安全标准下的表现

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型安全 用户特定安全 安全评估基准 思维链 LLM安全

📋 核心要点

  1. 现有LLM安全评估侧重通用标准，忽略了用户特定安全需求，导致评估结果与实际应用场景存在偏差。
  2. 论文提出U-SafeBench基准，旨在评估LLM在用户特定安全标准下的表现，填补了该领域数据集的空白。
  3. 实验表明，现有LLM在用户特定安全标准下表现不佳，并提出基于思维链的方法来提升用户特定安全性。

📝 摘要（中文）

随着大语言模型（LLM）代理的应用日益广泛，其安全漏洞也愈发明显。现有的LLM安全评估基准主要依赖于通用标准，忽略了用户特定的安全需求。然而，LLM的安全标准可能因用户画像而异，并非对所有用户都一致。本文旨在探讨：当考虑用户特定的安全标准时，LLM代理是否能安全地运行？针对这一问题，我们提出了U-SafeBench，一个用于评估LLM用户特定安全性的基准。对20个广泛使用的LLM的评估表明，当前的LLM在考虑用户特定的安全标准时表现不佳，这是一个新的发现。为了解决这个问题，我们提出了一种基于思维链的简单补救措施，证明了其在提高用户特定安全性方面的有效性。我们的基准和代码可在https://github.com/yeonjun-in/U-SafeBench获取。

🔬 方法详解

问题定义：现有的大语言模型安全评估基准主要采用通用安全标准，忽略了不同用户对安全的不同需求。例如，对于儿童用户，涉及暴力或色情的内容是绝对禁止的，而对于成年用户，可能存在一定的容忍度。因此，使用通用标准评估LLM的安全性，无法准确反映其在实际应用中对不同用户的安全风险。现有方法的痛点在于缺乏针对用户特定安全标准的评估数据集和方法。

核心思路：论文的核心思路是构建一个能够模拟不同用户画像和安全偏好的数据集，并基于此评估LLM在用户特定安全标准下的表现。通过定义不同的用户画像（例如，年龄、职业、价值观等），并为每个用户画像设定不同的安全阈值，从而实现对LLM用户特定安全性的评估。这样可以更准确地识别LLM在不同应用场景下的潜在安全风险。

技术框架：U-SafeBench基准包含以下几个主要组成部分：1) 用户画像定义模块：定义不同类型的用户画像，包括年龄、性别、职业、兴趣爱好等。2) 安全标准设定模块：为每个用户画像设定不同的安全标准，例如，对涉及暴力、色情、歧视等内容的容忍度。3) 测试用例生成模块：生成包含各种类型内容（包括安全和不安全内容）的测试用例。4) LLM评估模块：使用测试用例评估LLM的输出，并根据用户特定的安全标准判断其是否安全。5) 评估指标计算模块：计算LLM在不同用户画像下的安全指标，例如，安全率、误报率、漏报率等。

关键创新：该论文最重要的技术创新点在于提出了一个用户特定安全评估基准U-SafeBench，这是首个针对LLM用户特定安全性的评估数据集。与现有方法的本质区别在于，U-SafeBench不再采用通用的安全标准，而是根据不同的用户画像设定不同的安全标准，从而更准确地评估LLM在实际应用中的安全风险。

关键设计：在用户画像定义方面，论文考虑了多种因素，例如，年龄、性别、职业、兴趣爱好、价值观等。在安全标准设定方面，论文采用了基于规则和基于模型的两种方法。基于规则的方法是根据用户画像直接设定安全规则，例如，禁止儿童用户访问涉及暴力或色情的内容。基于模型的方法是使用一个安全分类器来判断LLM的输出是否安全，并根据用户画像调整分类器的阈值。在实验中，论文使用了基于思维链（Chain-of-Thought）的方法来提高LLM的用户特定安全性，通过引导LLM在生成答案之前先思考用户的安全偏好，从而减少不安全内容的生成。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，现有的20个广泛使用的LLM在U-SafeBench基准上的表现不佳，表明它们在用户特定安全标准方面存在明显的不足。通过引入基于思维链的方法，LLM的用户特定安全性得到了显著提升，证明了该方法的有效性。具体性能数据和提升幅度在论文中有详细展示。

🎯 应用场景

该研究成果可应用于各种LLM驱动的应用场景，例如智能客服、内容生成、教育辅导等。通过评估和提升LLM在用户特定安全标准下的表现，可以有效降低LLM在实际应用中的安全风险，保护用户的利益。未来，可以进一步研究如何根据用户的实时反馈动态调整LLM的安全策略，从而实现更加个性化和安全的LLM服务。

📄 摘要（原文）

As the use of large language model (LLM) agents continues to grow, their safety vulnerabilities have become increasingly evident. Extensive benchmarks evaluate various aspects of LLM safety by defining the safety relying heavily on general standards, overlooking user-specific standards. However, safety standards for LLM may vary based on a user-specific profiles rather than being universally consistent across all users. This raises a critical research question: Do LLM agents act safely when considering user-specific safety standards? Despite its importance for safe LLM use, no benchmark datasets currently exist to evaluate the user-specific safety of LLMs. To address this gap, we introduce U-SafeBench, a benchmark designed to assess user-specific aspect of LLM safety. Our evaluation of 20 widely used LLMs reveals current LLMs fail to act safely when considering user-specific safety standards, marking a new discovery in this field. To address this vulnerability, we propose a simple remedy based on chain-of-thought, demonstrating its effectiveness in improving user-specific safety. Our benchmark and code are available at https://github.com/yeonjun-in/U-SafeBench.