DynaGuard: A Dynamic Guardian Model With User-Defined Policies

📄 arXiv: 2509.02563v3 📥 PDF

作者: Monte Hoover, Vatsal Baherwani, Neel Jain, Khalid Saifullah, Joseph Vincent, Chirag Jain, Melissa Kazemi Rad, C. Bayan Bruss, Ashwinee Panda, Tom Goldstein

分类: cs.LG, cs.CL

发布日期: 2025-09-02 (更新: 2025-10-06)

备注: 22 Pages

💡 一句话要点

DynaGuard：一种基于用户自定义策略的动态守护模型，用于保障AI应用安全。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 动态守护模型 用户自定义策略 AI安全 链式推理 策略违规检测

📋 核心要点

  1. 现有守护模型依赖静态危害类别，缺乏灵活性，难以应对用户自定义的安全策略。
  2. DynaGuard通过用户自定义策略评估文本，提供快速策略违规检测和链式推理能力。
  3. 实验表明，DynaGuard在检测精度和推理速度上均优于静态模型，并与前沿推理模型竞争。

📝 摘要（中文）

为了确保面向用户的AI应用的安全性和伦理行为，守护模型发挥着关键作用，它们通过执行安全护栏和检测有害内容来实现。然而，标准的守护模型仅限于预定义的静态危害类别。我们提出了DynaGuard，一套动态守护模型，通过基于用户自定义策略评估文本，提供了前所未有的灵活性。同时，我们还发布了DynaBench，一个用于训练和评估动态守护模型的数据集。我们的模型不仅能快速检测违反策略的行为，还提供了一种链式推理选项，可以阐明和证明模型输出的合理性。至关重要的是，DynaGuard不仅在传统安全类别上的检测精度超过了静态模型，而且在自由形式的策略违规检测方面，其性能与前沿推理模型相媲美，同时耗时更少。这使得DynaGuard成为语言模型安全护栏的关键工具。

🔬 方法详解

问题定义：现有守护模型通常基于预定义的、静态的危害类别进行检测，无法灵活适应用户自定义的安全策略。这些模型难以应对不断变化的安全威胁和特定应用场景的需求，导致安全防护的局限性。此外，缺乏可解释性也是一个问题，用户难以理解模型做出判断的原因。

核心思路：DynaGuard的核心思路是引入用户自定义策略，使守护模型能够根据用户设定的规则动态地评估文本内容。通过将策略作为输入，模型可以针对特定场景和需求进行定制化的安全防护。同时，DynaGuard还引入了链式推理机制，使模型能够解释其判断过程，提高可解释性和可信度。

技术框架：DynaGuard的技术框架主要包括以下几个模块：1) 策略解析模块：负责解析用户定义的策略，将其转化为模型可以理解的形式。2) 文本编码模块：将输入的文本进行编码，提取文本的语义特征。3) 策略匹配模块：将文本特征与策略进行匹配，判断文本是否违反策略。4) 链式推理模块：生成模型判断的推理过程，解释模型做出判断的原因。整体流程是：用户定义策略 -> 策略解析 -> 文本编码 -> 策略匹配 -> 链式推理 -> 输出判断结果和推理过程。

关键创新：DynaGuard的关键创新在于其动态性和可解释性。传统的守护模型是静态的，只能检测预定义的危害类别，而DynaGuard可以根据用户自定义的策略进行动态检测。此外，DynaGuard还引入了链式推理机制，使模型能够解释其判断过程，提高了可解释性和可信度。与现有方法的本质区别在于，DynaGuard不再依赖于预定义的规则，而是可以根据用户的需求进行定制化的安全防护。

关键设计：DynaGuard的关键设计包括：1) 策略表示：采用一种灵活的策略表示方法，可以表达各种复杂的安全规则。2) 文本编码器：使用预训练的语言模型（如BERT或RoBERTa）作为文本编码器，提取文本的语义特征。3) 策略匹配算法：设计一种高效的策略匹配算法，可以快速判断文本是否违反策略。4) 链式推理模型：使用Transformer模型生成模型判断的推理过程。具体的参数设置、损失函数和网络结构等细节取决于具体的实现方式，论文中可能未详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

DynaGuard在传统安全类别上的检测精度超过了静态模型，并且在自由形式的策略违规检测方面，其性能与前沿推理模型相媲美，同时耗时更少。这意味着DynaGuard在保证检测精度的同时，还具有更高的效率。具体的性能数据和对比基线可能在论文的实验部分详细展示。

🎯 应用场景

DynaGuard可广泛应用于各种需要安全防护的AI应用场景，例如聊天机器人、内容审核系统、在线教育平台等。它可以帮助开发者快速构建安全可靠的AI应用，保护用户免受有害内容的侵害。此外，DynaGuard的可解释性使其能够应用于对可信度要求较高的场景，例如金融风控、医疗诊断等。未来，DynaGuard有望成为AI安全领域的重要工具，推动AI技术的健康发展。

📄 摘要（原文）

Guardian models play a crucial role in ensuring the safety and ethical behavior of user-facing AI applications by enforcing guardrails and detecting harmful content. While standard guardian models are limited to predefined, static harm categories, we introduce DynaGuard, a suite of dynamic guardian models offering novel flexibility by evaluating text based on user-defined policies, and DynaBench, a dataset for training and evaluating dynamic guardian models. Our models provide both rapid detection of policy violations and a chain-of-thought reasoning option that articulate and justify model outputs. Critically, DynaGuard not only surpasses static models in detection accuracy on traditional safety categories, but is competitive with frontier reasoning models on free-form policy violations, all in a fraction of the time. This makes DynaGuard an critical tool for language model guardrails.