Conformal Privacy Auditing: Calibrated Re-identification Attacks with Statistical Guarantees

📄 arXiv: 2609.21340v1 📥 PDF

作者: Shuo Huang, Gholamreza Haffari, Xingliang Yuan, Ting Yu, Lizhen Qu

分类: cs.CR, cs.CL

发布日期: 2026-09-18

💡 一句话要点

提出共形隐私审计以解决身份重识别风险问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 隐私审计 身份重识别 大型语言模型 统计保证 数据发布

📋 核心要点

  1. 现有的隐私审计方法缺乏对身份重识别风险的有限样本统计保证，难以有效应对LLM增强的攻击者。
  2. 本文提出的共形隐私审计（CPA）框架，能够为每个发布文档提供身份重识别风险的统计证书，支持多种攻击者类型。
  3. 实验结果表明，CPA在多个发布基准上实现了校准覆盖，并能有效揭示不同条件下的身份可识别性变化。

📝 摘要（中文）

随着攻击者利用大型语言模型（LLMs）和辅助知识链接文档与个人，已发布文本的身份泄露问题日益严重。现有审计方法通常仅报告特定攻击流程的成功率，缺乏有限样本的统计保证。本文提出了共形隐私审计（CPA），这是一个无分布校准框架，为每个发布文档提供针对LLM增强对手的身份重识别风险的统计证书。CPA输出一个候选身份的共形模糊集，保证在用户选择的置信度下包含真实身份，同时提供可解释的泄露代理。通过多种发布基准和攻击者配置，CPA实现了校准覆盖，并揭示了在辅助知识、LLM增强和发布机制变化时，认证可识别性发生的显著变化。

🔬 方法详解

问题定义：本文旨在解决现有隐私审计方法在面对LLM增强攻击者时缺乏有限样本统计保证的问题。这使得在发布自然语言文档时，难以做出有效的隐私保护决策。

核心思路：共形隐私审计（CPA）通过提供一个无分布的校准框架，能够为每个发布文档输出一个包含真实身份的共形模糊集，从而为用户提供身份重识别风险的统计证书。

技术框架：CPA的整体架构包括两个主要模块：首先是身份候选集的生成，其次是基于用户选择的置信度进行的风险评估。这一框架支持对开源模型和专有API模型的审计。

关键创新：CPA的主要创新在于其提供的统计证书和可解释的泄露代理，能够在不同攻击者配置和数据集上进行有效的风险比较，这在现有方法中是缺乏的。

关键设计：CPA设计了共形模糊集的生成算法，结合了对数访问和仅采样攻击者的支持，确保在多种攻击场景下的有效性。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果显示，CPA在多个发布基准上实现了校准覆盖，能够有效揭示身份可识别性在不同辅助知识和发布机制下的显著变化。与传统方法相比，CPA在身份重识别风险评估中提供了更为可靠的统计保证，提升了审计的准确性和实用性。

🎯 应用场景

该研究的潜在应用领域包括数据发布、社交媒体平台和任何涉及个人信息处理的系统。通过提供可靠的身份重识别风险评估，CPA能够帮助组织在发布文档时做出更为安全的决策，从而保护用户隐私，增强公众对数据处理的信任。

📄 摘要（原文）

Empirical identity leakage from released text is increasingly driven by attackers that combine large language models (LLMs) with auxiliary knowledge to link documents to individuals. Existing audits typically report success rates for specific attack pipelines but lack finite-sample statistical guarantees, while training-time protections such as differential privacy are difficult to translate into release-time decisions for individual natural-language documents. We introduce Conformal Privacy Auditing(CPA), a distribution-free calibration framework that provides a statistical certificate of re-identification risk for each released document against LLM-empowered adversaries. CPA outputs a conformal ambiguity set of candidate identities that is guaranteed to contain the true identity with user-chosen confidence under exchangeability, together with an interpretable leakage proxy derived from set size. CPA supports both logit-access and sampling-only attackers, enabling audits of open-source models and proprietary API models in a unified framework. Across multiple release benchmarks and attacker configurations, CPA achieves calibrated coverage and reveals sharp shifts in certified identifiability as auxiliary knowledge, LLM augmentation, and release mechanisms vary, providing a statistically grounded basis for reporting and comparing release-time linkage risk across attacker configurations, datasets, and release mechanisms alike.