Efficient Detection of Toxic Prompts in Large Language Models

📄 arXiv: 2408.11727v3 📥 PDF

作者: Yi Liu, Junzhe Yu, Huijia Sun, Ling Shi, Gelei Deng, Yuqi Chen, Yang Liu

分类: cs.CR, cs.AI, cs.CL, cs.SE

发布日期: 2024-08-21 (更新: 2025-09-01)

备注: Accepted by the 39th IEEE/ACM International Conference on Automated Software Engineering (ASE 2024)

💡 一句话要点

提出ToxicDetector以解决大语言模型中的有害提示检测问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 有害提示检测 大语言模型 多层感知机 实时应用 自然语言处理 机器学习

📋 核心要点

  1. 现有的有害提示检测方法在多样性、可扩展性和计算效率方面存在显著挑战，难以有效应对恶意用户的攻击。
  2. 本文提出的ToxicDetector是一种轻量级的灰盒方法，利用LLMs生成有害提示并通过MLP分类器进行高效检测。
  3. 实验结果显示，ToxicDetector在准确率和处理速度上均优于现有最先进的方法，具有良好的实时应用潜力。

📝 摘要（中文）

大语言模型（LLMs）如ChatGPT和Gemini在自然语言处理领域取得了显著进展，然而这些模型可能被恶意用户利用，构造有害提示以引发不当或不道德的响应。现有的检测技术面临多样性、可扩展性和计算效率等挑战。为此，本文提出了一种轻量级的灰盒方法ToxicDetector，旨在高效检测LLMs中的有害提示。ToxicDetector利用LLMs生成有害概念提示，使用嵌入向量形成特征向量，并采用多层感知机（MLP）分类器进行提示分类。实验结果表明，ToxicDetector在多种LLama模型和Gemma-2上实现了96.39%的高准确率和2.00%的低误报率，处理时间为每个提示0.0780秒，适合实时应用。

🔬 方法详解

问题定义：本文旨在解决大语言模型中有害提示的检测问题。现有方法在面对多样化的有害提示时，往往效率低下且准确率不足，无法满足实时应用的需求。

核心思路：ToxicDetector的核心思路是利用大语言模型生成有害概念提示，并通过嵌入向量形成特征向量，结合多层感知机（MLP）进行分类，以提高检测的准确性和效率。

技术框架：ToxicDetector的整体架构包括三个主要模块：首先，利用LLMs生成有害提示；其次，提取提示的嵌入向量并形成特征向量；最后，使用MLP分类器对特征向量进行分类，判断提示是否有害。

关键创新：ToxicDetector的主要创新在于其轻量级的灰盒检测方法，能够有效利用LLMs的生成能力，同时保持高效的计算性能，与传统的黑盒和白盒方法相比，具有更好的适应性和实时性。

关键设计：在设计上，ToxicDetector采用了高效的嵌入向量生成策略，并优化了MLP分类器的结构，以确保在保持高准确率的同时，降低计算复杂度。

🖼️ 关键图片

img_0

📊 实验亮点

实验结果表明，ToxicDetector在多种模型上实现了96.39%的高准确率和仅2.00%的低误报率，处理时间为每个提示仅0.0780秒，显著优于现有最先进的检测方法，展现出良好的实用性和效率。

🎯 应用场景

ToxicDetector可广泛应用于社交媒体、在线论坛和自动内容生成等领域，帮助平台及时识别和过滤有害内容，维护用户安全和社区健康。随着大语言模型的普及，该方法的实时检测能力将对减少恶意信息传播具有重要价值。

📄 摘要（原文）

Large language models (LLMs) like ChatGPT and Gemini have significantly advanced natural language processing, enabling various applications such as chatbots and automated content generation. However, these models can be exploited by malicious individuals who craft toxic prompts to elicit harmful or unethical responses. These individuals often employ jailbreaking techniques to bypass safety mechanisms, highlighting the need for robust toxic prompt detection methods. Existing detection techniques, both blackbox and whitebox, face challenges related to the diversity of toxic prompts, scalability, and computational efficiency. In response, we propose ToxicDetector, a lightweight greybox method designed to efficiently detect toxic prompts in LLMs. ToxicDetector leverages LLMs to create toxic concept prompts, uses embedding vectors to form feature vectors, and employs a Multi-Layer Perceptron (MLP) classifier for prompt classification. Our evaluation on various versions of the LLama models, Gemma-2, and multiple datasets demonstrates that ToxicDetector achieves a high accuracy of 96.39\% and a low false positive rate of 2.00\%, outperforming state-of-the-art methods. Additionally, ToxicDetector's processing time of 0.0780 seconds per prompt makes it highly suitable for real-time applications. ToxicDetector achieves high accuracy, efficiency, and scalability, making it a practical method for toxic prompt detection in LLMs.