LLM Jailbreak Detection for (Almost) Free!

📄 arXiv: 2509.14558v1 📥 PDF

作者: Guorui Chen, Yifan Xia, Xiaojun Jia, Zhijiang Li, Philip Torr, Jindong Gu

分类: cs.CR, cs.AI, cs.CL

发布日期: 2025-09-18

💡 一句话要点

提出近乎零成本的FJD方法，用于检测大语言模型的越狱攻击。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 越狱攻击 安全检测 零成本 指令学习

📋 核心要点

  1. 现有越狱检测方法依赖额外模型或多次推理，计算成本高昂，限制了实际应用。
  2. FJD通过在输入前添加肯定指令，并利用温度缩放后的logits区分越狱和良性提示。
  3. 实验表明，FJD在几乎不增加计算成本的情况下，有效检测越狱提示，提升模型安全性。

📝 摘要（中文）

大型语言模型（LLMs）在广泛应用时，通过对齐增强了安全性，但仍然容易受到越狱攻击，从而产生不适当的内容。越狱检测方法通过其他模型的辅助或多次模型推理，在缓解越狱攻击方面显示出希望。然而，现有方法需要大量的计算成本。在本文中，我们首先发现越狱提示和良性提示之间的输出分布差异可用于检测越狱提示。基于这一发现，我们提出了一种免费越狱检测（FJD）方法，该方法将肯定指令添加到输入中，并通过温度缩放logits来进一步区分越狱提示和良性提示，通过第一个token的置信度。此外，我们通过集成虚拟指令学习来增强FJD的检测性能。在对齐的LLM上进行的大量实验表明，我们的FJD可以有效地检测越狱提示，并且在LLM推理过程中几乎没有额外的计算成本。

🔬 方法详解

问题定义：论文旨在解决大型语言模型（LLMs）容易受到越狱攻击，产生不适当内容的问题。现有的越狱检测方法，例如依赖额外模型或多次推理，计算成本高昂，难以在实际应用中部署。因此，需要一种低成本、高效的越狱检测方法。

核心思路：论文的核心思路是利用越狱提示和良性提示在输出分布上的差异进行检测。具体来说，越狱提示往往会导致模型输出更加不确定和混乱，而良性提示则会产生更集中的输出。通过分析输出分布的特征，可以区分这两种类型的提示。

技术框架：FJD（Free Jailbreak Detection）方法主要包含以下几个步骤：1) 在原始输入提示前添加一个肯定指令，例如“回答是”；2) 将LLM输出的logits进行温度缩放，以增强不同token之间的概率差异；3) 分析第一个token的置信度，如果置信度低于某个阈值，则判定为越狱提示。此外，论文还引入了虚拟指令学习，通过生成对抗网络（GAN）学习更有效的肯定指令，进一步提升检测性能。

关键创新：FJD方法的关键创新在于其近乎零成本的特性。它不需要额外的模型或多次推理，而是直接利用LLM自身的输出分布进行检测。此外，通过引入肯定指令和温度缩放，可以更有效地放大越狱提示和良性提示之间的差异，从而提高检测准确率。

关键设计：FJD的关键设计包括：1) 肯定指令的选择，需要选择能够有效区分越狱提示和良性提示的指令；2) 温度缩放系数的选择，需要根据具体的LLM进行调整，以获得最佳的检测效果；3) 置信度阈值的设定，需要根据实验数据进行调整，以平衡检测准确率和召回率。虚拟指令学习部分，使用了GAN网络，生成器生成指令，判别器判断指令是否有效，通过对抗训练优化指令。

📊 实验亮点

实验结果表明，FJD方法在多个对齐的LLM上均取得了良好的检测效果，并且几乎没有增加额外的计算成本。与现有方法相比，FJD在保持甚至提升检测准确率的同时，显著降低了计算开销。例如，在某些数据集上，FJD的检测准确率达到了90%以上，同时推理时间仅增加了不到1%。

🎯 应用场景

该研究成果可广泛应用于各种基于大型语言模型的应用场景，例如智能客服、内容生成、代码助手等。通过部署FJD方法，可以有效防止恶意用户利用越狱攻击绕过安全限制，从而保护LLM免受滥用，并确保生成内容的安全性与合规性。该方法具有低成本、易部署的优点，有望成为LLM安全防护的重要组成部分。

📄 摘要（原文）

Large language models (LLMs) enhance security through alignment when widely used, but remain susceptible to jailbreak attacks capable of producing inappropriate content. Jailbreak detection methods show promise in mitigating jailbreak attacks through the assistance of other models or multiple model inferences. However, existing methods entail significant computational costs. In this paper, we first present a finding that the difference in output distributions between jailbreak and benign prompts can be employed for detecting jailbreak prompts. Based on this finding, we propose a Free Jailbreak Detection (FJD) which prepends an affirmative instruction to the input and scales the logits by temperature to further distinguish between jailbreak and benign prompts through the confidence of the first token. Furthermore, we enhance the detection performance of FJD through the integration of virtual instruction learning. Extensive experiments on aligned LLMs show that our FJD can effectively detect jailbreak prompts with almost no additional computational costs during LLM inference.