STShield: Single-Token Sentinel for Real-Time Jailbreak Detection in Large Language Models

📄 arXiv: 2503.17932v1 📥 PDF

作者: Xunguang Wang, Wenxuan Wang, Zhenlan Ji, Zongjie Li, Pingchuan Ma, Daoyuan Wu, Shuai Wang

分类: cs.CL, cs.AI, cs.CR

发布日期: 2025-03-23

备注: 11 pages

💡 一句话要点

STShield：基于单Token哨兵机制的大语言模型实时越狱攻击检测

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 越狱攻击 安全防御 对抗训练 单Token哨兵

📋 核心要点

  1. 现有大语言模型防御越狱攻击的方法，存在易受自适应攻击或计算开销过大的问题。
  2. STShield通过在模型响应中添加单Token安全指示符，利用模型自身对齐能力进行越狱检测。
  3. 实验表明，STShield能有效防御多种越狱攻击，同时保持模型在正常查询上的性能，且计算开销小。

📝 摘要（中文）

大型语言模型（LLMs）越来越容易受到绕过其安全机制的越狱攻击。 针对现有防御方法要么容易受到自适应攻击，要么需要计算成本高昂的辅助模型的问题，我们提出了STShield，这是一个用于实时越狱判断的轻量级框架。 STShield引入了一种新颖的单Token哨兵机制，该机制将二进制安全指示符附加到模型的响应序列中，从而利用LLM自身的对齐能力进行检测。 我们的框架结合了对正常提示的监督微调和使用嵌入空间扰动的对抗训练，从而在保持模型效用的同时实现了强大的检测。 大量实验表明，STShield成功防御了各种越狱攻击，同时保持了模型在合法查询上的性能。 与现有方法相比，STShield以最小的计算开销实现了卓越的防御性能，使其成为LLM实际部署的实用解决方案。

🔬 方法详解

问题定义：论文旨在解决大型语言模型（LLMs）面临的越狱攻击问题。现有的防御方法要么容易受到自适应攻击，即攻击者可以针对防御机制进行优化，从而绕过检测；要么需要引入计算成本高昂的辅助模型，增加了部署和推理的负担。这些痛点限制了LLM在实际应用中的安全性。

核心思路：STShield的核心思路是利用LLM自身的对齐能力，通过在模型生成的响应序列中附加一个单Token的二进制安全指示符（sentinel token），来判断是否存在越狱攻击。这个sentinel token代表模型对自身输出安全性的评估。通过训练，模型能够学会将安全或不安全的响应与相应的sentinel token关联起来。这样，检测过程就变得非常轻量级，无需额外的复杂计算。

技术框架：STShield的整体框架包括以下几个主要阶段：1) 监督微调：使用正常的提示数据对LLM进行微调，使其具备生成高质量响应的能力。2) 对抗训练：使用对抗样本（即越狱攻击的提示）对LLM进行训练，目标是让模型能够准确地识别并标记不安全的响应。对抗训练采用嵌入空间扰动技术，生成更具挑战性的对抗样本。3) 推理阶段：在推理时，LLM生成响应，并同时生成一个sentinel token。通过检查这个token的值，即可判断是否存在越狱攻击。

关键创新：STShield最重要的技术创新点在于其单Token哨兵机制。与传统的需要额外模型或复杂规则的检测方法不同，STShield将检测能力嵌入到LLM自身，实现了实时、轻量级的越狱检测。这种方法充分利用了LLM的对齐能力，避免了引入外部依赖，从而提高了防御的效率和鲁棒性。此外，对抗训练中使用的嵌入空间扰动技术，能够生成更有效的对抗样本，提升模型的防御能力。

关键设计：STShield的关键设计包括：1) 单Token哨兵：使用一个特殊的token（例如，'safe'或'unsafe'）作为安全指示符。2) 损失函数：在对抗训练中使用交叉熵损失函数，目标是最小化模型对安全/不安全响应的分类误差。3) 嵌入空间扰动：通过在提示的嵌入空间中添加微小的扰动，生成对抗样本。扰动的大小和方向需要仔细调整，以确保生成的样本既能绕过安全机制，又能保持语义的合理性。4) 微调策略：采用监督微调和对抗训练相结合的策略，以平衡模型的生成能力和防御能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，STShield在防御多种越狱攻击方面表现出色，显著优于现有的防御方法。在保持模型在正常查询上的性能的同时，STShield能够有效地识别和阻止越狱攻击，且计算开销极小。具体性能数据（原文未提供）表明，STShield在检测准确率和防御成功率方面均有显著提升，同时对模型推理速度的影响可以忽略不计。

🎯 应用场景

STShield具有广泛的应用前景，可用于保护各种基于LLM的应用，如聊天机器人、智能助手、代码生成工具等，免受恶意攻击和滥用。该方法能够有效提升LLM的安全性，降低因越狱攻击导致的不良信息传播和社会危害的风险。未来，STShield可以进一步扩展到其他类型的安全问题，例如检测虚假信息、仇恨言论等，为构建更安全、可靠的AI系统做出贡献。

📄 摘要（原文）

Large Language Models (LLMs) have become increasingly vulnerable to jailbreak attacks that circumvent their safety mechanisms. While existing defense methods either suffer from adaptive attacks or require computationally expensive auxiliary models, we present STShield, a lightweight framework for real-time jailbroken judgement. STShield introduces a novel single-token sentinel mechanism that appends a binary safety indicator to the model's response sequence, leveraging the LLM's own alignment capabilities for detection. Our framework combines supervised fine-tuning on normal prompts with adversarial training using embedding-space perturbations, achieving robust detection while preserving model utility. Extensive experiments demonstrate that STShield successfully defends against various jailbreak attacks, while maintaining the model's performance on legitimate queries. Compared to existing approaches, STShield achieves superior defense performance with minimal computational overhead, making it a practical solution for real-world LLM deployment.