WorldCup Sampling for Multi-bit LLM Watermarking

📄 arXiv: 2602.01752v1 📥 PDF

作者: Yidan Wang, Yubing Ren, Yanan Cao, Li Guo

分类: cs.CL, cs.CR

发布日期: 2026-02-02

💡 一句话要点

提出WorldCup，通过层级竞争采样实现多比特LLM水印嵌入，提升容量与鲁棒性。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: LLM水印 多比特水印 分层采样 信息嵌入 版权保护

📋 核心要点

  1. 现有LLM水印方法依赖种子驱动，信息流间接，容量受限，解码效果不佳。
  2. WorldCup将采样视为通信通道，通过分层竞争机制直接嵌入多比特信息。
  3. WorldCup采用熵感知调制保证文本质量，置信度感知解码提升鲁棒性，性能优于基线。

📝 摘要（中文）

随着大型语言模型（LLMs）生成越来越像人类的文本，水印技术提供了一种可靠的归属方案，超越了简单的检测。虽然多比特水印能够实现更丰富的来源编码，但现有方法主要通过种子驱动的引导来扩展零比特方案，导致间接的信息流、有限的有效容量和次优的解码。在本文中，我们提出了WorldCup，一个用于LLM的多比特水印框架，它将采样视为一种自然的通信通道，并通过由互补信号引导的分层竞争机制将消息比特直接嵌入到token选择中。此外，WorldCup进一步采用熵感知调制来保持生成质量，并通过置信度感知解码来支持鲁棒的消息恢复。综合实验表明，WorldCup在容量、可检测性、鲁棒性、文本质量和解码效率之间实现了强大的平衡，始终优于先前的基线，并为未来的LLM水印研究奠定了坚实的基础。

🔬 方法详解

问题定义：现有LLM多比特水印方法主要通过扩展零比特水印方案实现，依赖种子驱动的token选择，导致信息嵌入间接，有效容量受限，解码性能不佳，难以在容量、鲁棒性、文本质量和解码效率之间取得平衡。

核心思路：WorldCup的核心思路是将LLM的token采样过程视为一个天然的通信信道，通过精心设计的层级竞争机制，将水印信息（多比特）直接嵌入到token的选择过程中，从而实现高效、鲁棒的水印嵌入和提取。这种直接嵌入避免了现有方法中种子驱动的间接信息流，提高了水印容量。

技术框架：WorldCup框架主要包含以下几个关键模块：1) 分层竞争采样：将候选token分成多个层级，每一层级的token根据互补信号进行竞争，最终胜出的token被选中。水印信息通过控制每一层级的竞争结果嵌入到token选择中。2) 熵感知调制：根据候选token的熵值动态调整水印嵌入强度，以在保证水印鲁棒性的同时，尽量减小对生成文本质量的影响。3) 置信度感知解码：在解码阶段，利用token选择的置信度信息来提高水印提取的准确性和鲁棒性。

关键创新：WorldCup的关键创新在于其将采样过程视为通信信道，并设计了分层竞争采样机制，实现了多比特水印的直接嵌入。与现有方法相比，WorldCup避免了间接的信息流，显著提高了水印容量和鲁棒性。此外，熵感知调制和置信度感知解码进一步提升了文本质量和解码效率。

关键设计：WorldCup的关键设计包括：1) 分层竞争机制：具体的分层策略和每一层级的竞争规则需要根据具体的LLM和应用场景进行设计。2) 熵感知调制：熵值的计算方法和调制强度的调整策略需要仔细选择，以平衡水印鲁棒性和文本质量。3) 置信度感知解码：置信度阈值的选择和解码算法的设计需要考虑噪声的影响，以提高解码的准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，WorldCup在容量、可检测性、鲁棒性、文本质量和解码效率方面均优于现有基线方法。具体而言，WorldCup在保持相当文本质量的前提下，水印容量提升了XX%，水印检测准确率提升了YY%，水印鲁棒性提升了ZZ%。这些结果表明WorldCup在LLM水印领域具有显著的优势。

🎯 应用场景

WorldCup水印技术可应用于LLM生成内容的版权保护、来源追溯、内容认证等领域。例如，可以用于防止恶意用户伪造LLM生成的内容，或者用于追踪LLM生成内容的传播路径，从而维护LLM生态的安全和健康发展。该技术还可用于内容审查，标记由特定模型生成的内容。

📄 摘要（原文）

As large language models (LLMs) generate increasingly human-like text, watermarking offers a promising solution for reliable attribution beyond mere detection. While multi-bit watermarking enables richer provenance encoding, existing methods largely extend zero-bit schemes through seed-driven steering, leading to indirect information flow, limited effective capacity, and suboptimal decoding. In this paper, we propose WorldCup, a multi-bit watermarking framework for LLMs that treats sampling as a natural communication channel and embeds message bits directly into token selection via a hierarchical competition mechanism guided by complementary signals. Moreover, WorldCup further adopts entropy-aware modulation to preserve generation quality and supports robust message recovery through confidence-aware decoding. Comprehensive experiments show that WorldCup achieves a strong balance across capacity, detectability, robustness, text quality, and decoding efficiency, consistently outperforming prior baselines and laying a solid foundation for future LLM watermarking studies.