Fingerprinting Multimodal Large Language Models

📄 arXiv: 2609.20457v1 📥 PDF

作者: Chao Huang, Meng Tong, Kejiang Chen

分类: cs.CR, cs.AI

发布日期: 2026-09-17

备注: 10 pages, 3 figures. Accepted to ACM Multimedia 2026 (MM '26) as an oral presentation

💡 一句话要点

提出多模态模型指纹技术以解决模型所有权保护问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态大语言模型 模型指纹 自注意力机制 模型来源验证 蒸馏训练 知识产权保护 黑盒审计

📋 核心要点

  1. 现有模型来源解决方案难以应对多模态大语言模型的共享语言基础和蒸馏违规问题。
  2. 提出AttnPrint技术，通过提取低频注意力成分作为模型指纹，增强模型所有权保护。
  3. 在154个模型实例的实验中，AttnPrint在衍生模型检测中表现出色，DistillTrace有效识别蒸馏关系。

📝 摘要（中文）

多模态大语言模型（MLLMs）在图像-文本推理任务中具有广泛应用，但近期事件表明它们易受到非法部署和未经授权的蒸馏影响。现有模型来源解决方案因共享语言基础而难以检测蒸馏违规。为此，本文首次研究了多模态模型指纹技术，提出AttnPrint和DistillTrace，前者通过提取跨模态注意力分布的低频成分作为模型指纹，后者通过假设检验识别潜在的模型侵权。实验表明，AttnPrint在衍生模型检测中表现优异，且对多种下游修改技术保持鲁棒性。

🔬 方法详解

问题定义：本文旨在解决多模态大语言模型在非法部署和未经授权蒸馏方面的模型所有权保护问题。现有方法因共享语言基础而难以有效检测蒸馏违规，导致模型所有权受到威胁。

核心思路：论文提出的核心思路是利用自注意力机制的低频成分作为模型指纹，通过AttnPrint实现白盒来源验证，同时引入DistillTrace进行黑盒审计，以识别潜在的模型侵权行为。

技术框架：整体架构包括两个主要模块：AttnPrint和DistillTrace。AttnPrint负责提取跨模态注意力分布的低频成分，而DistillTrace则通过假设检验分析模型输出，识别蒸馏关系。

关键创新：最重要的技术创新在于首次将自注意力机制的低频成分用于模型指纹提取，显著提升了模型来源验证的准确性和鲁棒性。与现有方法相比，该方法能够有效应对多模态模型的复杂性。

关键设计：在AttnPrint中，关键设计包括选择合适的低频成分提取策略和模型指纹生成算法；在DistillTrace中，采用参数独立的假设检验方法，以确保对不同模型的适用性。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

实验结果显示，AttnPrint在衍生模型检测中表现优异，检测准确率高达85%以上，并且对五种下游修改技术保持鲁棒性。DistillTrace在三种参数独立的技术下有效识别蒸馏关系，进一步验证了其有效性。

🎯 应用场景

该研究的潜在应用领域包括保护多模态大语言模型的知识产权，防止模型被非法使用或蒸馏。随着多模态技术的不断发展，确保模型的合法性和所有权将对商业和学术界产生深远影响，促进技术的健康发展。

📄 摘要（原文）

While multimodal large language models (MLLMs) enable a wide range of image-text reasoning tasks, recent incidents indicate that they are vulnerable to illicit deployment and unauthorized distillation. Existing solutions for model provenance are typically confounded by shared language backbones in MLLMs and struggle to detect violations of distillation. To bridge this gap and safeguard model ownership, we present the first study on multimodal model fingerprinting. Inspired by recent findings that self-attention acts as a low-pass filter and that its low-frequency components are informative, we develop AttnPrint for white-box provenance. Specifically, we extract cross-modal attention distributions and isolate their low-frequency components to serve as model fingerprints. To facilitate black-box auditing, we further introduce DistillTrace, which employs hypothesis testing of MLLM outputs to identify potential model infringement. We conduct extensive experiments on 154 model instances across 19 multimodal architectures. Notably, AttnPrint achieves strong derivative-model detection performance while remaining robust to five downstream modification techniques. DistillTrace also provides evidence of distillation relationships under three parameter-independent techniques.