Faithful Latent Harm Monitors Work No Better Than the Models Own Behaviour at a Matched False Alarm Rate

📄 arXiv: 2610.30727v1 📥 PDF

作者: Abhishek Mishra, Sagnik Chatterjee, Suyash Maniyar

分类: cs.AI

发布日期: 2026-10-22

💡 一句话要点

提出改进的潜在安全监测方法以提升有害请求检测能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 有害内容检测 潜在安全监测 大型语言模型 激活表示 TF-IDF分类器 内容审核 在线安全

📋 核心要点

  1. 现有方法在处理分布转移时，潜在安全监测器的有效性尚不明确，且模型对拒绝提示的判断存在不一致性。
  2. 论文提出通过分析模型的内部激活，分离提示的有害信号与模型的拒绝决策，从而提升有害请求的检测能力。
  3. 实验结果显示，在匹配的误报率下，激活表示的检测能力优于模型的拒绝率，且TF-IDF分类器在所有测试模型中表现更佳。

📝 摘要（中文）

大型语言模型被报告能够将请求的有害性与拒绝决策分开编码，潜在安全监测器如Latent Guard基于此报告，通过模型的内部激活来分类提示为有害，旨在捕捉有害意图。本文测试了这些表示在分布转移下的有效性，比较了15个指令调优的LLM和38个基于激活的阅读器的有害检测能力。结果表明，在匹配的误报率下，激活表示在拒绝行为上大体独立，但在分布转移下性能下降，TF-IDF分类器在所有模型中优于原始Latent Guard。

🔬 方法详解

问题定义：本文旨在解决潜在安全监测器在分布转移下的有效性问题，现有方法未能充分捕捉有害请求的信号，且模型对拒绝提示的判断存在不一致性。

核心思路：通过分析模型的内部激活，论文提出分离提示的有害信号与模型的拒绝决策，从而提高有害请求的检测能力。这样的设计能够更好地捕捉潜在的有害意图，即使在模型同意响应的情况下。

技术框架：整体架构包括对15个指令调优的LLM和38个激活读取器的测试，激活在用户指令的最后一个token和回复前的最后一个chat-template token处进行读取。

关键创新：最重要的技术创新在于通过激活表示的分析，能够在拒绝行为上大体独立地捕捉有害信号，并在分布转移下提供更好的检测能力，与现有方法相比具有显著优势。

关键设计：在实验中，使用TF-IDF和句子嵌入分类器进行比较，激活读取在不同阶段的设计确保了对有害请求的有效捕捉，尤其是在生成前的激活表示。实验结果显示，TF-IDF分类器在所有模型中优于原始Latent Guard。

🖼️ 关键图片

fig_0

📊 实验亮点

实验结果显示，在匹配的误报率下，激活表示能够捕捉到44%的有害提示，而模型的拒绝率仅为32%。此外，TF-IDF分类器在所有测试模型中均优于原始Latent Guard，表明该方法在有害请求检测中的有效性。

🎯 应用场景

该研究的潜在应用领域包括内容审核、在线平台的安全监测以及对话系统的有害内容过滤。通过提升有害请求的检测能力，能够有效降低在线交流中的风险，保护用户免受有害信息的影响，具有重要的社会价值和实际意义。

📄 摘要（原文）

Large language models have been reported to encode the harmfulness of a request separately from their decision to refuse it, and latent safety monitors such as Latent Guard build on this report by classifying prompts as harmful from the internal activations of the model, with the aim of catching harmful intent even when the model complies. Whether these representations give a signal of harm that survives distribution shift and is independent of model behaviour is unclear. We test this on out-of-distribution prompts made by rewriting existing harmful and benign requests with surface rewording, persuasive framing and jailbreak-style wrappers. Across 15 instruction-tuned LLMs and 38 activation-based readers, we compare harm detection with that of TF-IDF and sentence-embedding classifiers, with independently trained safety classifiers, and with the refusal of each model. Activations are read at the last token of the user instruction, where the model has read the whole request, and at the last chat-template token before the reply, where the planned response can be represented. Because models disagree about which prompts to refuse, we can separate a signal of the harmfulness of the prompt from a signal of the refusal decision of the model. At the end of the instruction, the representation is largely independent of the refusal behaviour of each model but degrades under distribution shift, so that a TF-IDF classifier ranks harm better than the original Latent Guard in every model we test, and linear and MLP probes do about as well as sentence-embedding classifiers trained on the same examples. The representation just before generation detects more, catching 44 percent of harmful prompts at a matched false-alarm rate against 32 percent for the refusal of the model, but that gain follows the refusal decision itself, and part of it comes from refusals that string-matching evaluation misses.