RAR: Setting Knowledge Tripwires for Retrieval Augmented Rejection

📄 arXiv: 2505.13581v1 📥 PDF

作者: Tommaso Mario Buonocore, Enea Parimbelli

分类: cs.IR, cs.CL, cs.CR

发布日期: 2025-05-19

备注: 7 pages, 4 figures, 2 tables

💡 一句话要点

RAR：通过检索增强拒绝机制为大型语言模型设置知识陷阱，实现内容审核。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 内容审核 大型语言模型 检索增强生成 RAG 知识陷阱 安全漏洞 恶意文档

📋 核心要点

  1. 大型语言模型的内容审核面临挑战，需要能快速应对新威胁的灵活方案。
  2. RAR通过在RAG系统中插入恶意文档作为“知识陷阱”，动态拒绝不安全查询。
  3. 实验表明，RAR在性能上与嵌入式审核相当，并具备更强的灵活性和实时定制能力。

📝 摘要（中文）

针对大型语言模型（LLM）的内容审核仍然是一个重大挑战，需要灵活且适应性强的解决方案，以便快速响应新兴威胁。本文介绍了一种新颖的方法，即检索增强拒绝（RAR），它利用检索增强生成（RAG）架构来动态拒绝不安全的用户查询，而无需重新训练模型。通过策略性地将恶意文档插入并标记到向量数据库中，系统可以在检索到这些文档时识别并拒绝有害请求。初步结果表明，RAR实现了与LLM（如Claude 3.5 Sonnet）中嵌入式审核相当的性能，同时提供了卓越的灵活性和实时定制功能，这是及时解决关键漏洞的基本特征。这种方法没有对现有的RAG系统进行架构上的更改，只需要添加专门制作的文档和一个基于检索结果的简单拒绝机制。

🔬 方法详解

问题定义：当前大型语言模型的内容审核依赖于模型自身的嵌入式审核机制，或者需要对模型进行重新训练。这些方法缺乏灵活性，难以快速适应不断变化的安全威胁，并且重新训练模型的成本较高。因此，需要一种无需模型重新训练，且能实时更新审核规则的内容审核方法。

核心思路：RAR的核心思路是利用RAG架构的检索能力，通过在向量数据库中插入包含恶意信息的文档（即“知识陷阱”），当用户查询检索到这些恶意文档时，系统判定该查询为不安全查询并拒绝。这种方法无需修改模型本身，只需修改向量数据库的内容即可实现内容审核。

技术框架：RAR的技术框架主要包括以下几个步骤：1. 构建包含恶意信息的文档，并将其嵌入到向量数据库中；2. 用户发起查询，RAG系统从向量数据库中检索相关文档；3. 系统检查检索到的文档中是否包含预先标记的恶意文档；4. 如果包含恶意文档，则拒绝用户查询；否则，将检索到的文档用于生成回复。

关键创新：RAR的关键创新在于利用RAG架构的检索能力，将内容审核问题转化为检索问题。通过在向量数据库中插入恶意文档，并根据检索结果进行拒绝，实现了无需模型重新训练的动态内容审核。这种方法具有很强的灵活性和可定制性，可以快速应对新的安全威胁。

关键设计：RAR的关键设计在于恶意文档的构建和标记。恶意文档需要包含能够触发安全漏洞的信息，并且需要进行特殊标记，以便系统能够识别。此外，还需要设计合适的拒绝机制，例如直接拒绝查询或返回安全提示信息。具体的参数设置和损失函数未知，因为该方法主要依赖于RAG系统的现有组件。

📊 实验亮点

初步实验结果表明，RAR在内容审核性能上与Claude 3.5 Sonnet等大型语言模型的嵌入式审核机制相当。更重要的是，RAR提供了卓越的灵活性和实时定制能力，无需重新训练模型即可快速更新审核规则，这对于及时应对关键漏洞至关重要。具体的性能数据和提升幅度未知，但实验结果验证了RAR的可行性和有效性。

🎯 应用场景

RAR可应用于各种需要内容审核的大型语言模型应用场景，例如聊天机器人、问答系统和内容生成平台。它能够有效防止模型生成有害、不当或违反政策的内容，保障用户安全和平台合规性。RAR的实时定制能力使其能够快速应对新兴威胁，例如恶意攻击和虚假信息传播，具有重要的实际价值和未来影响。

📄 摘要（原文）

Content moderation for large language models (LLMs) remains a significant challenge, requiring flexible and adaptable solutions that can quickly respond to emerging threats. This paper introduces Retrieval Augmented Rejection (RAR), a novel approach that leverages a retrieval-augmented generation (RAG) architecture to dynamically reject unsafe user queries without model retraining. By strategically inserting and marking malicious documents into the vector database, the system can identify and reject harmful requests when these documents are retrieved. Our preliminary results show that RAR achieves comparable performance to embedded moderation in LLMs like Claude 3.5 Sonnet, while offering superior flexibility and real-time customization capabilities, a fundamental feature to timely address critical vulnerabilities. This approach introduces no architectural changes to existing RAG systems, requiring only the addition of specially crafted documents and a simple rejection mechanism based on retrieval results.