Perturbation, Not Provenance: Why Activation Steering Does Not Make a Robust Text Watermark
作者: Sergey Pletenev
分类: cs.CL
发布日期: 2026-10-13
💡 一句话要点
提出激活引导方法以解决文本水印鲁棒性不足问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 文本水印 激活引导 鲁棒性 重述攻击 大语言模型 检测准确性 语义方向
📋 核心要点
- 现有的文本水印方法在鲁棒性上存在不足，尤其是在面对重述攻击时表现不佳。
- 论文提出通过激活引导来生成文本水印，旨在沿特定语义方向引导生成过程，并通过激活探测恢复水印。
- 实验结果显示，激活引导水印的检测准确性低于传统的KGW水印，且引导的可检测性与语义无关。
📝 摘要（中文）
大语言模型的激活空间中的线性方向对模型行为具有普遍影响，这提示其可能作为鲁棒文本水印的基础。本文通过一系列实验验证了这一假设，测试了不同的引导强度和方向，结果表明激活引导水印在检测准确性上不如标准的基于logit的水印（KGW）。在相同流畅度下，KGW在句子级别的重述攻击中取得了0.81的AUC，而最佳引导方向仅为0.65。进一步的实验显示，引导所提供的可检测性并非语义相关，随机方向的可检测性与有意义的方向相当。最终得出结论，语义激活并未编码可恢复的局部语义标记，而是产生了一种全球性的、内容无关的偏移。
🔬 方法详解
问题定义：本文旨在解决现有文本水印方法在面对重述攻击时的鲁棒性不足问题，尤其是激活引导水印的有效性尚未得到验证。
核心思路：论文的核心思路是通过激活空间中的线性方向引导文本生成，期望能够在生成的文本中嵌入可恢复的水印信息。
技术框架：研究采用了两种不同的模型家族，测试了四种不同的引导方向，并进行了句子级和段落级的重述攻击实验。主要模块包括激活引导生成、激活探测和水印恢复。
关键创新：最重要的技术创新在于揭示了激活引导水印的可检测性并不依赖于语义内容，而是与随机方向的可检测性相当，这与传统方法存在本质区别。
关键设计：实验中设置了不同的引导强度，并使用了流畅度控制，损失函数和网络结构的设计旨在优化水印的嵌入和恢复过程。
🖼️ 关键图片
📊 实验亮点
实验结果显示，在句子级重述攻击下，KGW水印的AUC达到了0.81，而激活引导水印的最佳表现仅为0.65。在段落级重述攻击中，KGW和激活引导水印的AUC分别降至0.65和0.59，尽管差距缩小，但仍未逆转。整体上，激活引导水印的检测性能显著低于传统方法。
🎯 应用场景
该研究的潜在应用领域包括文本生成、内容版权保护和信息安全等。通过改进文本水印技术，可以为数字内容提供更强的保护措施，确保内容创作者的权益，同时也为未来的研究提供了新的思路和方向。
📄 摘要（原文）
Linear directions in the activation space of large language models causally and universally influence model behavior. This suggests that they might serve as a basis for a robust text watermark. The idea is to steer the generation along a specific semantic direction and then recover the mark by probing the activations of the re-encoded text. We test this hypothesis by conducting a series of experiments. We vary the strength of the steering and use four different directions (formality, sentiment, complexity, and a random control) across two different model families. We also test two paraphrasing attacks: a sentence-level one and a stronger paragraph-level one. The results show that activation-steering watermarks are outperformed by a standard logit-based watermark (KGW) in terms of detection accuracy. At a matched level of fluency (within 1.15 times the original text's perplexity), KGW achieved an AUC of 0.81 against a sentence-level paraphraser, while the best steering direction only reached 0.65. A stronger paragraph-level paraphraser lowered both (0.65 for KGW and 0.59 for steering), narrowing the gap but not reversing it. On Qwen, it left the two indistinguishable but at near-chance levels for both. We further showed that the detectability provided by steering was not semantic: a random direction was just as detectable as a meaningful one. The signal was independent of which layer was probed and whether a surface feature control was used. We conclude that, in this case, semantic activation does not encode a localized, recoverable semantic mark, but rather a global, content-independent shift that can only be strongly detected when the text is degraded.