MultiPriv: Benchmarking Individual-Level Privacy Reasoning in Vision-Language Models

📄 arXiv: 2511.16940v1 📥 PDF

作者: Xiongtao Sun, Hui Li, Jiaming Zhang, Yujie Yang, Kaili Liu, Ruxin Feng, Wen Jun Tan, Wei Yang Bryan Lim

分类: cs.CV, cs.CR

发布日期: 2025-11-21

💡 一句话要点

MultiPriv：首个评估视觉-语言模型中个体隐私推理能力的基准测试。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉-语言模型 隐私推理 基准测试 个体隐私 多模态学习

📋 核心要点

  1. 现有隐私基准主要关注属性感知，忽略了视觉-语言模型(VLM)通过推理关联信息构建个体档案的隐私风险。
  2. 提出MultiPriv基准，包含隐私感知与推理(PPR)框架和双语多模态数据集，用于系统评估VLM的个体层面隐私推理能力。
  3. 大规模评估表明，许多VLM存在未被衡量的推理隐私风险，现有安全对齐方法对此类攻击无效，揭示了评估差距。

📝 摘要（中文）

现代视觉-语言模型(VLM)展现出复杂的推理能力，这使得隐私风险从简单的属性感知升级到个体层面的关联。现有的隐私基准在结构上不足以应对这种新威胁，因为它们主要评估隐私感知，而忽略了更关键的隐私推理风险：即VLM推断和链接分布式信息以构建个体档案的能力。为了解决这个关键差距，我们提出了MultiPriv，这是第一个旨在系统评估VLM中个体层面隐私推理的基准。我们引入了隐私感知与推理(PPR)框架，并构建了一个新颖的双语多模态数据集来支持它。该数据集独特地包含合成个体档案的核心组件，其中标识符(例如，面部、姓名)与敏感属性精心链接。这种设计支持九项具有挑战性的任务，评估从属性检测到跨图像重识别和链式推理的完整PPR范围。我们对超过50个基础和商业VLM进行了大规模评估。我们的分析表明：(1)许多VLM具有显著的、未被衡量的基于推理的隐私风险。(2)感知层面的指标不能很好地预测这些推理风险，揭示了一个关键的评估差距。(3)现有的安全对齐对于这种基于推理的攻击是不一致且无效的。MultiPriv揭示了系统性漏洞，并为开发强大的、保护隐私的VLM提供了必要的框架。

🔬 方法详解

问题定义：论文旨在解决现有隐私基准无法有效评估视觉-语言模型(VLM)在个体层面隐私推理能力的问题。现有方法主要关注属性感知，忽略了VLM通过推理关联分布式信息构建个体档案的风险，导致对VLM潜在隐私威胁的评估不足。

核心思路：论文的核心思路是构建一个能够系统评估VLM隐私推理能力的基准测试MultiPriv。通过设计包含个体档案的数据集，并定义一系列任务，来考察VLM从属性检测到跨图像重识别和链式推理的完整隐私推理能力。这样可以更全面地评估VLM在处理涉及个体信息的任务时可能存在的隐私风险。

技术框架：MultiPriv的核心是隐私感知与推理(PPR)框架，它包含以下几个主要组成部分：1) 一个双语多模态数据集，包含合成的个体档案，其中标识符（如面部、姓名）与敏感属性链接；2) 一组九个具有挑战性的任务，涵盖属性检测、跨图像重识别和链式推理等；3) 一套评估指标，用于衡量VLM在这些任务上的表现，从而评估其隐私推理能力。整体流程是，将VLM应用于数据集中的任务，然后根据评估指标分析其表现，从而判断其是否存在隐私风险。

关键创新：MultiPriv的关键创新在于：1) 首次提出了针对VLM个体层面隐私推理的系统性评估框架；2) 构建了一个包含个体档案链接信息的新型数据集，能够支持更复杂的隐私推理任务；3) 揭示了现有隐私评估方法的局限性，并指出了VLM安全对齐策略的不足。

关键设计：数据集的关键设计在于将标识符（如面部、姓名）与敏感属性进行链接，从而模拟现实世界中个体信息的关联性。九个任务的设计涵盖了从简单的属性检测到复杂的链式推理，旨在全面评估VLM的隐私推理能力。评估指标的设计旨在量化VLM在各个任务上的表现，并识别其潜在的隐私风险。具体的参数设置、损失函数和网络结构取决于被评估的VLM模型。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

MultiPriv对50多个VLM的大规模评估表明，许多VLM具有显著的、未被衡量的基于推理的隐私风险。感知层面的指标不能很好地预测这些推理风险，揭示了一个关键的评估差距。现有的安全对齐对于这种基于推理的攻击是不一致且无效的。这些结果强调了MultiPriv在识别和量化VLM隐私风险方面的重要性。

🎯 应用场景

该研究成果可应用于评估和改进视觉-语言模型(VLM)的隐私保护能力，尤其是在涉及处理个人身份信息(PII)的应用场景中，如智能监控、社交媒体分析、医疗影像诊断等。通过MultiPriv基准，可以帮助开发者识别VLM的隐私漏洞，并开发更安全可靠的模型，从而降低隐私泄露的风险，保护用户权益。

📄 摘要（原文）

Modern Vision-Language Models (VLMs) demonstrate sophisticated reasoning, escalating privacy risks beyond simple attribute perception to individual-level linkage. Current privacy benchmarks are structurally insufficient for this new threat, as they primarily evaluate privacy perception while failing to address the more critical risk of privacy reasoning: a VLM's ability to infer and link distributed information to construct individual profiles. To address this critical gap, we propose \textbf{MultiPriv}, the first benchmark designed to systematically evaluate individual-level privacy reasoning in VLMs. We introduce the \textbf{Privacy Perception and Reasoning (PPR)} framework and construct a novel, bilingual multimodal dataset to support it. The dataset uniquely features a core component of synthetic individual profiles where identifiers (e.g., faces, names) are meticulously linked to sensitive attributes. This design enables nine challenging tasks evaluating the full PPR spectrum, from attribute detection to cross-image re-identification and chained inference. We conduct a large-scale evaluation of over 50 foundational and commercial VLMs. Our analysis reveals: (1) Many VLMs possess significant, unmeasured reasoning-based privacy risks. (2) Perception-level metrics are poor predictors of these reasoning risks, revealing a critical evaluation gap. (3) Existing safety alignments are inconsistent and ineffective against such reasoning-based attacks. MultiPriv exposes systemic vulnerabilities and provides the necessary framework for developing robust, privacy-preserving VLMs.