Every Bit, Everywhere, All at Once: A Binomial Multibit LLM Watermark

📄 arXiv: 2605.11653v1 📥 PDF

作者: Thibaud Gloaguen, Robin Staab, Mark Vero, Martin Vechev

分类: cs.CR, cs.AI

发布日期: 2026-05-12

💡 一句话要点

提出一种基于二项式编码的多比特LLM水印方案，提升消息准确性和鲁棒性。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: LLM水印 多比特水印 二项式编码 状态编码器 信息安全

📋 核心要点

  1. 现有的LLM水印技术难以有效嵌入复杂payload，如用户ID或时间戳等多比特信息。
  2. 该论文提出二项式编码，在每个token位置直接嵌入payload的每一位，并使用状态编码器动态调整编码压力。
  3. 实验表明，该方案在消息准确性和鲁棒性方面优于现有方法，尤其是在大payload和低失真情况下。

📝 摘要（中文）

本文提出了一种全新的多比特LLM水印方法：将二项式编码引入，在每个token位置直接编码payload的每一位。该方法配合一个状态编码器，在生成过程中动态地将编码压力导向欠编码的比特位。在高达64比特payload的实验中，与8个基线方法相比，该方案实现了卓越的消息准确性和鲁棒性，尤其是在更相关的设置（即，大payload和低失真机制）下，优势更加明显。同时，本文挑战了先前研究的评估指标，强调了它们缺乏实际意义，并引入了每比特置信度评分，作为评估多比特LLM水印的一种具有实际意义的指标。

🔬 方法详解

问题定义：论文旨在解决LLM水印技术中，如何高效、鲁棒地嵌入多比特payload的问题。现有方法在嵌入大量信息时，准确性和鲁棒性会显著下降，难以满足实际应用需求。此外，现有的评估指标也缺乏实际指导意义。

核心思路：论文的核心思路是利用二项式编码，将payload的每一位信息分散到生成的每一个token中。通过这种方式，即使部分token被修改，也能保留大部分payload信息。同时，引入状态编码器，动态调整每个比特位的编码强度，确保所有比特位都被充分编码。

技术框架：该方案包含一个二项式编码器和一个状态编码器。二项式编码器负责将payload的每一位信息编码到每个token的生成概率中。状态编码器则负责跟踪每个比特位的编码状态，并动态调整编码器的参数，使得欠编码的比特位获得更多的编码机会。整个过程在LLM生成文本时进行，通过修改token的生成概率来实现水印的嵌入。

关键创新：该方案的关键创新在于将二项式编码引入到LLM水印中，实现了payload信息的分布式存储。与传统的集中式编码方法相比，该方法具有更高的鲁棒性。此外，状态编码器的引入，使得编码过程更加智能化，能够根据每个比特位的编码状态进行动态调整。

关键设计：二项式编码器使用一个二项分布来模拟每个token的生成概率，该分布的参数由payload的比特位决定。状态编码器使用一个循环神经网络（RNN）来跟踪每个比特位的编码状态，并根据RNN的输出调整二项式编码器的参数。损失函数的设计目标是最小化payload的解码错误率，同时限制对生成文本的干扰。

🖼️ 关键图片

fig_0

📊 实验亮点

实验结果表明，该方案在64比特payload下，消息准确性和鲁棒性显著优于8个基线方法。尤其是在低失真情况下，该方案的优势更加明显。此外，论文提出的每比特置信度评分，为多比特LLM水印的评估提供了一种更具实际意义的指标。

🎯 应用场景

该研究成果可应用于各种需要对LLM生成内容进行溯源和身份验证的场景，例如版权保护、内容来源追踪、用户身份识别等。通过嵌入用户ID或时间戳等多比特信息，可以有效防止恶意使用和传播LLM生成的内容，并为内容安全提供保障。

📄 摘要（原文）

With LLM watermarking already being deployed commercially, practical applications increasingly require multibit watermarks that encode more complex payloads, such as user IDs or timestamps, into the generated text. In this work, we propose a fundamentally new approach for multibit watermarking: introducing binomial encoding to directly encode every bit of the payload at every token position. We complement our approach with a stateful encoder that during generation dynamically redirects encoding pressure toward underencoded bits. Our evaluation against 8 baselines on up to 64-bit payloads shows that our scheme achieves superior message accuracy and robustness, with the gap to baseline methods widening in more relevant settings (i.e., large payloads and low-distortion regimes). At the same time, we challenge prior works' evaluation metrics, highlighting their lack of practical insights, and introduce per-bit confidence scoring as a practically relevant metric for evaluating multibit LLM watermarks.