MEraser: An Effective Fingerprint Erasure Approach for Large Language Models

📄 arXiv: 2506.12551v2 📥 PDF

作者: Jingxuan Zhang, Zhenhua Xu, Rui Hu, Wenpeng Xing, Xuhong Zhang, Meng Han

分类: cs.CR, cs.AI

发布日期: 2025-06-14 (更新: 2025-08-26)

备注: Accepted by ACL 2025, Main Conference, Long Paper

💡 一句话要点

提出MEraser以有效去除大语言模型的指纹

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 指纹去除 后门攻击 模型保护 知识产权 微调策略 可转移机制

📋 核心要点

  1. 现有的基于后门的指纹识别方法在去除指纹时缺乏有效的攻击手段，导致模型的知识产权保护面临挑战。
  2. MEraser通过两阶段微调策略，结合不匹配和干净数据集，有效去除LLMs中的后门指纹，同时保持模型性能。
  3. 在多种LLM架构和指纹识别方法的评估中，MEraser实现了完全去除指纹的目标，并且所需训练数据少于1000个样本。

📝 摘要（中文）

大语言模型（LLMs）在各个领域的广泛应用引发了对模型所有权和知识产权保护的关注。尽管基于后门的指纹识别技术已成为模型认证的有力工具，但有效去除这些指纹的攻击方法仍然未被充分探索。为此，本文提出了一种新颖的方法——Mismatched Eraser（MEraser），旨在有效去除LLMs中的后门指纹，同时保持模型性能。该方法采用两阶段微调策略，利用精心构建的不匹配和干净数据集。通过对多种LLM架构和指纹识别方法的广泛评估，我们证明MEraser能够在使用不到1000个样本的情况下，完全去除指纹并保持模型性能。此外，我们还引入了一种可转移的去除机制，使得在不同模型间有效去除指纹成为可能。总之，我们的方法为LLMs中的指纹去除提供了实用解决方案，揭示了当前指纹技术的关键脆弱性，并为未来开发更具韧性的模型保护方法建立了全面的评估基准。

🔬 方法详解

问题定义：本文旨在解决大语言模型中后门指纹的去除问题。现有方法在去除指纹时效果不佳，无法有效保护模型的知识产权。

核心思路：MEraser的核心思路是通过两阶段微调策略，利用不匹配和干净数据集来实现指纹的有效去除，同时保持模型的性能。这样的设计使得指纹去除过程更加高效且不影响模型的实际应用。

技术框架：MEraser的整体架构包括两个主要阶段：第一阶段使用不匹配数据集进行初步微调，第二阶段则利用干净数据集进行进一步优化。该流程确保了指纹的彻底去除。

关键创新：MEraser的最重要创新在于其可转移的去除机制，允许在不同模型间有效去除指纹，而无需重复训练。这一特性显著提高了指纹去除的灵活性和效率。

关键设计：在技术细节上，MEraser采用了特定的损失函数和网络结构，以优化指纹去除的效果。具体的参数设置和训练策略经过精心设计，以确保在使用少量样本的情况下仍能达到最佳性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在实验中，MEraser成功实现了对多种LLM架构的指纹完全去除，且在使用不到1000个样本的情况下，模型性能保持不变。与现有方法相比，MEraser在指纹去除效率和效果上均有显著提升，展示了其在实际应用中的优势。

🎯 应用场景

MEraser的研究成果在多个领域具有广泛的应用潜力，尤其是在需要保护模型知识产权的场景中，如商业AI产品和开放源代码模型。通过有效去除指纹，该方法能够增强模型的安全性，降低被恶意攻击的风险，未来可能影响模型认证和保护的标准。

📄 摘要（原文）

Large Language Models (LLMs) have become increasingly prevalent across various sectors, raising critical concerns about model ownership and intellectual property protection. Although backdoor-based fingerprinting has emerged as a promising solution for model authentication, effective attacks for removing these fingerprints remain largely unexplored. Therefore, we present Mismatched Eraser (MEraser), a novel method for effectively removing backdoor-based fingerprints from LLMs while maintaining model performance. Our approach leverages a two-phase fine-tuning strategy utilizing carefully constructed mismatched and clean datasets. Through extensive evaluation across multiple LLM architectures and fingerprinting methods, we demonstrate that MEraser achieves complete fingerprinting removal while maintaining model performance with minimal training data of fewer than 1,000 samples. Furthermore, we introduce a transferable erasure mechanism that enables effective fingerprinting removal across different models without repeated training. In conclusion, our approach provides a practical solution for fingerprinting removal in LLMs, reveals critical vulnerabilities in current fingerprinting techniques, and establishes comprehensive evaluation benchmarks for developing more resilient model protection methods in the future.