SentGuard: Sentence-Level Streaming Guardrails for Large Language Models

📄 arXiv: 2606.02041v1 📥 PDF

作者: Jiaqi Yu, Xin Wang, Yixu Wang, Jie Li, Yan Teng, Xingjun Ma, Yingchun Wang

分类: cs.CL

发布日期: 2026-06-01

备注: 16 pages, 5 figures, submitted to ARR

💡 一句话要点

提出SentGuard，一种句子级流式Guardrail，用于保障大语言模型的实时安全输出。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 安全Guardrail 流式处理 句子级别分析 实时安全

📋 核心要点

  1. 现有Guardrail方法在响应速度和准确性之间存在权衡，token级方法反应快但误报率高，响应级方法准确但延迟高。
  2. SentGuard通过句子级流式处理，在生成过程中并行评估安全风险，实现快速响应和较高准确性的平衡。
  3. 实验表明，SentGuard在多个安全基准上优于现有方法，能够在快速检测不安全内容的同时，保持较低的误报率。

📝 摘要（中文）

大型语言模型越来越多地实时流式传输长篇、推理密集型的响应，因此何时进行审核与是否审核同样重要。现有的Guardrail方法存在两种不令人满意的极端情况：响应级别的方法会延迟干预，直到生成完整的输出；而token级别的方法则作用于不完整的语义，通常会产生不稳定的决策和过度的Guard调用。为了解决这个挑战，我们提出了SentGuard，一种与生成并行运行的句子级流式Guardrail。一个轻量级的等待缓冲区将流式token分组为句子块，并仅将经过验证的块释放给用户，从而引入一个小的偏移，使SentGuard能够在目标LLM解码后续内容时评估当前前缀。为此，我们构建了StreamSafe，一个具有跨8个危害类别结构化句子级注释的基准，捕捉推理和响应段中安全风险的演变。我们进一步使用由粗到精的目标训练SentGuard，以在句子边界出现时立即检测不安全意图。在5个安全基准上的实验表明，SentGuard优于现有的基线，在两个句子内检测到90.5%的不安全情况，同时保持较低的流式传输误报率7.41%。

🔬 方法详解

问题定义：现有的大语言模型安全Guardrail方法面临着实时性和准确性的挑战。Token级别的Guardrail虽然可以快速响应，但由于语义不完整，容易产生误报和不稳定的决策。而响应级别的Guardrail需要等待整个输出生成完毕才能进行审核，导致延迟过高，无法满足实时应用的需求。因此，需要一种能够在保证较低延迟的同时，提供较高准确性的Guardrail方法。

核心思路：SentGuard的核心思路是在句子级别进行安全审核，通过将流式token分组为句子块，并仅释放经过验证的块给用户，从而实现快速响应和较高准确性的平衡。这种方法利用了句子作为语义单元的特性，可以在一定程度上缓解token级别方法语义不完整的缺点，同时避免了响应级别方法的过高延迟。

技术框架：SentGuard的整体架构包含以下几个主要模块：1) 等待缓冲区：用于将流式token分组为句子块。2) 安全评估模块：用于评估句子块的安全风险。3) 释放控制模块：用于控制经过验证的句子块的释放。整个流程如下：LLM生成token流 -> 等待缓冲区将token分组为句子块 -> 安全评估模块评估句子块的安全风险 -> 释放控制模块根据评估结果决定是否释放句子块给用户。

关键创新：SentGuard的关键创新在于其句子级别的流式处理方式，以及与之配套的训练方法和数据集。句子级别的流式处理方式能够在保证较低延迟的同时，提供较高准确性。此外，论文还提出了一个由粗到精的训练目标，以在句子边界出现时立即检测不安全意图。同时，论文构建了StreamSafe数据集，该数据集包含跨8个危害类别的结构化句子级注释，可以用于训练和评估流式Guardrail方法。

关键设计：SentGuard的关键设计包括：1) 等待缓冲区的大小：需要根据具体的应用场景进行调整，以平衡延迟和准确性。2) 安全评估模块的模型选择：可以选择各种文本分类模型，如BERT、RoBERTa等。3) 由粗到精的训练目标：首先使用粗粒度的标签进行训练，然后使用细粒度的标签进行微调。4) StreamSafe数据集的构建：需要保证数据集的质量和多样性，以提高模型的泛化能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

SentGuard在五个安全基准测试中表现出色，能够在两个句子内检测到90.5%的不安全情况，同时保持较低的流式传输误报率7.41%。相较于现有基线方法，SentGuard在检测准确率和响应速度方面均有显著提升，证明了其有效性和实用性。

🎯 应用场景

SentGuard可应用于各种需要实时安全保障的大语言模型应用场景，例如在线客服、聊天机器人、内容创作平台等。通过在句子级别进行安全审核，可以有效防止不安全内容的传播，保护用户免受潜在的危害。该研究的成果有助于推动大语言模型在安全可靠的前提下得到更广泛的应用。

📄 摘要（原文）

Large language models increasingly stream long, reasoning-intensive responses in real time, making when to moderate as critical as whether to moderate. Existing guardrails fall into two unsatisfactory extremes: response-level methods delay intervention until the full output is generated, whereas token-level methods act on incomplete semantics, often producing unstable decisions and excessive guard invocations. To address this challenge, we propose SentGuard, a sentence-level streaming guardrail that operates in parallel with generation. A lightweight waiting buffer groups streamed tokens into sentence chunks and releases only verified chunks to the user, introducing a small offset that enables SentGuard to assess the current prefix while the target LLM decodes subsequent content. To support this, we construct StreamSafe, a benchmark with structured per-sentence annotations across 8 harm categories, capturing the evolution of safety risks across both reasoning and response segments. We further train SentGuard with a coarse-to-fine objective to detect unsafe intent as soon as it emerges at sentence boundaries. Experiments on 5 safety benchmarks show that SentGuard outperforms existing baselines, detecting 90.5% of unsafe cases within two sentences while maintaining a low streaming false-positive rate of 7.41%.