HarmfulSkillBench: How Do Harmful Skills Weaponize Your Agents?

📄 arXiv: 2604.15415v1 📥 PDF

作者: Yukun Jiang, Yage Zhang, Michael Backes, Xinyue Shen, Yang Zhang

分类: cs.CR, cs.AI

发布日期: 2026-04-16

🔗 代码/项目: GITHUB

💡 一句话要点

提出HarmfulSkillBench，评估LLM智能体在恶意技能环境下的安全性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 智能体安全 有害技能 基准测试 技能生态系统

📋 核心要点

  1. 现有研究主要关注技能内部漏洞，忽略了技能被滥用于有害行为的风险，缺乏对有害技能的系统性评估。
  2. 构建了HarmfulSkillBench基准，包含多种类别的有害技能，用于评估LLM智能体在真实场景下的安全性。
  3. 实验表明，预装有害技能会显著降低LLM的拒绝率，隐式有害意图比显式请求更易被接受，安全性面临挑战。

📝 摘要（中文）

大型语言模型（LLMs）已发展成为自主智能体，依赖于开放技能生态系统（如ClawHub和Skills.Rest），其中托管着大量可公开重用的技能。现有的针对这些生态系统的安全研究主要集中在技能内部的漏洞，例如提示注入。然而，对于可能被滥用于有害行为（如网络攻击、欺诈和诈骗、侵犯隐私和生成性内容）的技能（即有害技能）存在一个关键的空白。本文对智能体生态系统中的有害技能进行了首次大规模测量研究，涵盖了两个主要注册表中的98,440个技能。使用基于LLM的评分系统，该系统基于我们的有害技能分类法，我们发现4.93%的技能（4,858个）是有害的，ClawHub的有害率为8.84%，而Skills.Rest的有害率为3.49%。然后，我们构建了HarmfulSkillBench，这是第一个用于评估智能体在真实智能体环境中针对有害技能的安全性的基准，包括20个类别和四个评估条件下的200个有害技能。通过在HarmfulSkillBench上评估六个LLM，我们发现通过预安装的技能呈现有害任务会大大降低所有模型的拒绝率，平均危害评分从没有技能时的0.27上升到有技能时的0.47，当有害意图是隐式的而不是明确的用户请求时，则进一步上升到0.76。我们负责任地向受影响的注册机构披露了我们的发现，并发布了我们的基准以支持未来的研究。

🔬 方法详解

问题定义：论文旨在解决LLM智能体在开放技能生态系统中面临的有害技能滥用问题。现有研究主要关注技能内部的漏洞，例如提示注入，而忽略了技能本身可能被用于执行有害任务（如网络攻击、诈骗、隐私侵犯等）的风险。因此，如何识别、评估和防御这些有害技能，成为一个亟待解决的问题。

核心思路：论文的核心思路是通过大规模测量和基准测试，系统性地评估LLM智能体在面对有害技能时的安全性。首先，构建有害技能分类体系，并基于此对现有技能生态系统进行扫描，识别有害技能。然后，构建一个包含多种类别有害技能的基准测试集，用于评估不同LLM智能体在真实场景下的安全性表现。

技术框架：论文的技术框架主要包含以下几个阶段：1) 有害技能识别：构建有害技能分类体系，并利用LLM驱动的评分系统对技能生态系统进行扫描，识别有害技能。2) HarmfulSkillBench构建：基于识别出的有害技能，构建包含20个类别和200个有害技能的基准测试集。3) 智能体安全性评估：利用HarmfulSkillBench对多个LLM智能体进行评估，考察其在不同场景下的拒绝率和危害评分。4) 结果分析与披露：分析实验结果，揭示LLM智能体在面对有害技能时的安全漏洞，并将结果负责任地披露给相关机构。

关键创新：论文的关键创新在于：1) 首次对开放技能生态系统中的有害技能进行大规模测量研究，揭示了有害技能的普遍存在。2) 构建了HarmfulSkillBench，这是第一个用于评估LLM智能体在有害技能环境下的安全性的基准测试集。3) 实验结果表明，预装有害技能会显著降低LLM的拒绝率，隐式有害意图比显式请求更易被接受，这揭示了LLM智能体在安全性方面存在的潜在风险。

关键设计：在有害技能识别阶段，论文使用LLM驱动的评分系统，该系统基于有害技能分类体系，对技能进行自动评分。在HarmfulSkillBench构建阶段，论文精心设计了20个类别和200个有害技能，涵盖了各种常见的有害行为。在智能体安全性评估阶段，论文设计了四种不同的评估条件，包括无技能、预装技能、显式请求和隐式请求，以全面评估LLM智能体的安全性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，在HarmfulSkillBench上，预装有害技能会显著降低LLM的拒绝率，平均危害评分从没有技能时的0.27上升到有技能时的0.47，当有害意图是隐式的而不是明确的用户请求时，则进一步上升到0.76。这表明LLM智能体在面对有害技能时存在明显的安全漏洞，需要进一步的研究和改进。

🎯 应用场景

该研究成果可应用于提升LLM智能体在开放技能生态系统中的安全性。通过使用HarmfulSkillBench，开发者可以评估和改进其智能体对有害技能的防御能力。此外，该研究还可以帮助技能生态系统的管理者识别和移除有害技能，从而构建更安全可靠的技能生态系统。该研究对于保障人工智能技术的安全应用具有重要意义。

📄 摘要（原文）

Large language models (LLMs) have evolved into autonomous agents that rely on open skill ecosystems (e.g., ClawHub and Skills.Rest), hosting numerous publicly reusable skills. Existing security research on these ecosystems mainly focuses on vulnerabilities within skills, such as prompt injection. However, there is a critical gap regarding skills that may be misused for harmful actions (e.g., cyber attacks, fraud and scams, privacy violations, and sexual content generation), namely harmful skills. In this paper, we present the first large-scale measurement study of harmful skills in agent ecosystems, covering 98,440 skills across two major registries. Using an LLM-driven scoring system grounded in our harmful skill taxonomy, we find that 4.93% of skills (4,858) are harmful, with ClawHub exhibiting an 8.84% harmful rate compared to 3.49% on Skills.Rest. We then construct HarmfulSkillBench, the first benchmark for evaluating agent safety against harmful skills in realistic agent contexts, comprising 200 harmful skills across 20 categories and four evaluation conditions. By evaluating six LLMs on HarmfulSkillBench, we find that presenting a harmful task through a pre-installed skill substantially lowers refusal rates across all models, with the average harm score rising from 0.27 without the skill to 0.47 with it, and further to 0.76 when the harmful intent is implicit rather than stated as an explicit user request. We responsibly disclose our findings to the affected registries and release our benchmark to support future research (see https://github.com/TrustAIRLab/HarmfulSkillBench).