Watermark Forensics for Generative Models: An Information-Theoretic Perspective
作者: Xiaoyu Li, Zheng Gao, Xiaoyan Feng, Jiaojiao Jiang, Yulei Sui, Jiankun Hu
分类: cs.CR, cs.IT, cs.LG
发布日期: 2026-07-14
备注: The abstract has been shortened to comply with arXiv's length limit
💡 一句话要点
提出水印取证方法以解决生成模型输出归属问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 水印技术 生成模型 信息论 用户归属 内容安全 数字版权 机器学习
📋 核心要点
- 现有水印技术主要关注文本是否由机器生成，缺乏对用户归属和信息提取的深入研究。
- 论文提出了一种基于信息论的水印取证框架，系统分析了不同水印功能的样本长度成本。
- 实验结果表明，所提出的理论模型在多个生成模型上均能有效预测水印的性能表现。
📝 摘要（中文）
本文探讨了生成模型输出中的水印技术，指出水印不仅可以判断文本是否由机器生成，还能归属用户、提取隐藏信息和定位编辑部分。通过信息论的视角，研究了不同水印功能的样本长度成本，并提出了一个新的熵率定律，首次为多用户归属提供了紧密的理论支持。实验验证了所提出理论的有效性，展示了在不同生成模型上的应用效果。
🔬 方法详解
问题定义：本文旨在解决生成模型输出中的水印技术如何有效地实现用户归属、信息提取和编辑定位等多重功能的问题。现有方法往往只关注文本是否由机器生成，缺乏对归属和信息提取的系统性分析。
核心思路：论文通过信息论的视角，提出了一个水印取证的层级结构，分析了每个功能所需的样本长度成本，强调了信息的传播和存在性在水印功能中的重要性。
技术框架：整体框架包括三个主要模块：水印生成、信息分析和水印检测。水印生成模块负责嵌入水印信息，信息分析模块评估水印的有效性，水印检测模块则用于判断文本的归属和生成来源。
关键创新：最重要的创新在于提出了一个紧密的熵率定律，首次为多用户归属提供了理论支持，解决了以往方法在归属准确性上的不足。
关键设计：在参数设置上，论文引入了信息轮廓ν(t)来量化每个token对秘密信息的揭示程度，并设计了基于惊讶度的解码器，以提高归属的准确性和降低误判率。实验中使用了GPT-2、Pythia-410M和Qwen2.5等模型进行验证。
🖼️ 关键图片
📊 实验亮点
实验结果显示，所提出的水印取证方法在多个生成模型上均能有效实现用户归属，归属成本为Θ(log N/h)，并且在不影响生成质量的前提下，成功提取了隐藏信息，验证了理论模型的准确性和实用性。
🎯 应用场景
该研究的潜在应用领域包括内容创作、版权保护和社交媒体监控等。通过有效的水印技术，可以帮助创作者追踪其作品的使用情况，防止盗用和不当编辑，提升数字内容的安全性和可追溯性。未来，该技术有望在生成内容的合规性和透明性方面发挥重要作用。
📄 摘要（原文）
A watermark in a generative model's output is usually asked only whether a text is machine-made. The same mark can do more: attribute it to the user who produced it, extract a hidden payload, or localize the part that survives editing. These form a forensic ladder, and we ask what each rung costs in the sample length $n$. One object organizes the answers. Let $S$ be the secret the mark carries (a user's identity or payload), and let the information profile $ν(t)=I(S;X_t\mid X_{<t})$ record how much the $t$-th token reveals about $S$ given the earlier ones. Its total mass pays for attribution and extraction; how that mass is spread pays for localization; and detection alone is paid for not by information but by presence, the distance from the marked to the unmarked distribution. The literature's two quality models, a mark subtle on every token and one that stamps a few tokens loudly, are two incomparable ways of capping this profile. Our main theorem settles the ladder's entropy column. For statistically distortion-free schemes, attributing a text to one of $N$ users costs $Θ(\log N/h)$ tokens over every stationary-ergodic source of entropy rate $h$, sharp to a $(1+o(1))$ factor: to our knowledge the first tight entropy-rate law for multi-user attribution (via exact alignment). The natural collision-counting analysis overcharges without bound; only a decoder thresholding each candidate by its own realized surprisal attains the rate while almost never implicating an innocent user. A matching converse makes the law two-sided, and extraction of an $\ell$-bit payload costs $Θ(\ell/h)$. Two gaps are real, not modeling artifacts: a $Θ(\log N)$-token window in which a text is provably machine-made yet unattributable, and a footprint-resolution uncertainty principle. Experiments on GPT-2, Pythia-410M, and Qwen2.5 recover the predicted constants.