RandMark: On Random Watermarking of Visual Foundation Models
作者: Anna Chistyakova, Mikhail Pautov
分类: cs.CV, cs.AI
发布日期: 2026-03-11
💡 一句话要点
RandMark：提出基于随机水印的视觉基础模型所有权验证方法
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 视觉基础模型 所有权验证 数字水印 随机水印 编码器-解码器
📋 核心要点
- 视觉基础模型训练成本高昂，其所有权保护至关重要，但现有方法存在不足。
- 论文提出一种基于随机水印嵌入的方法，通过编码器-解码器网络将水印嵌入到模型的内部表示中。
- 实验证明该方法能有效区分水印模型和非水印模型，具有较低的误检率和漏检率。
📝 摘要（中文）
视觉基础模型(VFMs)经过大规模多样化数据集的训练，可以通过微调在各种下游计算机视觉任务中实现卓越的性能和效率。数据收集和训练的高计算成本使得这些模型成为有价值的资产，这促使一些VFM所有者通过许可分发它们，以保护其知识产权。在本文中，我们提出了一种视觉基础模型所有权验证方法，该方法利用一个小型编码器-解码器网络将数字水印嵌入到保留输入图像集合的内部表示中。该方法基于随机水印嵌入，这使得水印统计信息在水印模型的功能副本中可检测。理论和实验均表明，该方法对非水印模型产生较低的错误检测概率，而对水印模型产生较低的错误未检测概率。
🔬 方法详解
问题定义：论文旨在解决视觉基础模型（VFMs）的所有权验证问题。由于VFMs训练成本高昂，模型被非法复制和使用的情况日益严重。现有的水印方法可能存在鲁棒性不足或对模型性能影响过大的问题，难以有效保护模型所有者的知识产权。
核心思路：论文的核心思路是通过在模型的内部表示中嵌入随机水印，使得即使模型被微调或修改，水印的统计特性仍然可以被检测到。这种随机水印嵌入方法旨在实现水印的鲁棒性和不可见性，同时尽量减少对模型性能的影响。
技术框架：该方法主要包含以下几个阶段：1) 选择一个保留的输入图像集合；2) 使用一个小型编码器-解码器网络，将随机生成的水印嵌入到这些图像在模型内部的表示中；3) 训练带有水印的模型；4) 在所有权验证阶段，通过统计分析来检测模型中是否存在特定的水印统计特性。
关键创新：该方法最重要的创新点在于使用随机水印嵌入，而非传统的确定性水印。随机水印的统计特性更难被攻击者移除，从而提高了水印的鲁棒性。此外，使用编码器-解码器网络将水印嵌入到模型的内部表示中，可以更好地平衡水印的不可见性和鲁棒性。
关键设计：编码器-解码器网络的结构需要仔细设计，以确保水印能够有效地嵌入到模型的内部表示中，同时尽量减少对模型性能的影响。损失函数的设计也至关重要，需要平衡水印的鲁棒性、不可见性和对模型性能的影响。随机水印的生成方式也需要仔细考虑，以确保其统计特性易于检测，同时难以被攻击者预测和移除。
🖼️ 关键图片
📊 实验亮点
论文通过实验验证了所提出方法的有效性。实验结果表明，该方法能够以较低的误检率（false detection rate）识别非水印模型，并以较低的漏检率（false misdetection rate）识别水印模型。这表明该方法在保护视觉基础模型所有权方面具有良好的性能。
🎯 应用场景
该研究成果可应用于视觉基础模型的所有权保护，防止模型被非法复制和使用。通过嵌入数字水印，模型所有者可以验证模型的合法性，维护自身的知识产权。此外，该技术还可以应用于模型溯源，追踪模型的传播路径，打击盗版行为，促进人工智能技术的健康发展。
📄 摘要（原文）
Being trained on large and diverse datasets, visual foundation models (VFMs) can be fine-tuned to achieve remarkable performance and efficiency in various downstream computer vision tasks. The high computational cost of data collection and training makes these models valuable assets, which motivates some VFM owners to distribute them alongside a license to protect their intellectual property rights. In this paper, we propose an approach to ownership verification of visual foundation models that leverages a small encoder-decoder network to embed digital watermarks into an internal representation of a hold-out set of input images. The method is based on random watermark embedding, which makes the watermark statistics detectable in functional copies of the watermarked model. Both theoretically and experimentally, we demonstrate that the proposed method yields a low probability of false detection for non-watermarked models and a low probability of false misdetection for watermarked models.