Efficient Safety Guardrails through Latent Dual-Hypothesis Reasoning with On-Demand Trace Reconstruction

📄 arXiv: 2610.18304v1 📥 PDF

作者: Md Asiful Islam, Fahmida Alam, Mihai Surdeanu

分类: cs.AI

发布日期: 2026-10-13

💡 一句话要点

提出LR-Guard以提高安全决策效率与可解释性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 潜在推理 安全决策 可解释性 推理重建 效率提升

📋 核心要点

  1. 现有基于推理的护栏方法在安全决策中效率低下，推理开销大，限制了其实际应用。
  2. LR-Guard通过联合学习潜在推理和按需重建，优化了安全预测与解释生成的效率。
  3. 实验结果显示，LR-Guard在安全分类和解释提取上超越了显式推理教师，并实现了显著的推理速度提升。

📝 摘要（中文）

基于推理的大型语言模型（LLM）的护栏方法在安全决策中表现出色，但由于显式推理带来了显著的推理开销。本文提出LR-Guard（潜在推理护栏），一种高效且可解释的护栏方法，联合学习结构化的潜在推理和按需推理重建。该方法将冻结教师模型对安全与不安全提示解释及其比较的分析提炼为紧凑的潜在表示。通过联合训练，优化这些表示以实现安全预测和教师显式推理轨迹的重建，从而无需为每个决策生成中间文本。实验表明，LR-Guard在安全分类和解释提取方面在大多数领域内外的表现优于显式推理教师，同时在批量大小为1时实现了19.4倍的推理加速。此外，从潜在信息重建的推理轨迹与教师的显式推理在语义上高度相似。

🔬 方法详解

问题定义：现有的基于推理的护栏方法在安全决策中存在显著的推理开销，导致效率低下，限制了其应用范围。

核心思路：LR-Guard通过联合学习潜在推理和按需重建，旨在减少推理开销，同时保持可解释性。该方法通过提炼教师模型的分析，生成紧凑的潜在表示，优化安全预测与解释生成。

技术框架：LR-Guard的整体架构包括两个主要模块：潜在推理模块和推理重建模块。潜在推理模块负责生成安全与不安全提示的潜在表示，而推理重建模块则用于生成可读的解释。

关键创新：LR-Guard的核心创新在于其将显式推理过程转化为潜在表示，避免了每次决策时都需生成中间文本，从而显著提高了推理效率。

关键设计：在设计上，LR-Guard采用了联合训练策略，使用特定的损失函数来优化潜在表示的生成，同时确保重建的推理轨迹与教师模型的显式推理保持高度一致。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果表明，LR-Guard在安全分类和解释提取任务中，超越了显式推理教师模型，尤其在大多数领域内外的设置中表现优异。同时，在批量大小为1的情况下，实现了19.4倍的推理速度提升，显示出其在实际应用中的巨大潜力。

🎯 应用场景

LR-Guard的研究成果在自动驾驶、医疗诊断和金融决策等领域具有广泛的应用潜力。通过提高安全决策的效率和可解释性，该方法能够帮助相关行业更好地理解和信任AI系统的决策过程，促进其在实际场景中的落地与应用。

📄 摘要（原文）

Guardrail approaches that rely on reasoning-based large language models (LLM) improve safety decisions, but come with substantial inference overhead due to the explicit reasoning. We introduce LR-Guard (Latent Reasoning Guardrail), an efficient and explainable guardrail that jointly learns structured latent reasoning and on-demand reasoning reconstruction. Our method distills a frozen teacher's analysis of safe and unsafe prompt interpretations and their comparison into compact latent representations. Joint training optimizes these representations for both safety prediction and reconstruction of the teacher's explicit reasoning traces, enabling human-readable explanations without requiring intermediate text generation for every decision. Experiments show that LR-Guard outperforms its explicit-reasoning teacher in most in-domain and out-of-domain settings on safety classification and explanation extraction, while achieving a 19.4x inference speedup at batch size one. Further, reconstructed reasoning traces from the latent information exhibit high semantic similarity to the teacher's explicit reasoning.