Unveiling Privacy Risks in Multi-modal Large Language Models: Task-specific Vulnerabilities and Mitigation Challenges

📄 arXiv: 2606.09125v1 📥 PDF

作者: Tiejin Chen, Pingzhi Li, Kaixiong Zhou, Tianlong Chen, Hua Wei

分类: cs.CR, cs.AI

发布日期: 2026-06-08

💡 一句话要点

提出MM-Privacy数据集以解决多模态大语言模型隐私风险问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态大语言模型 隐私风险 数据集构建 敏感信息泄露 任务不一致性 隐私保护策略

📋 核心要点

  1. 多模态大语言模型在隐私保护方面面临新的挑战，尤其是图像中的敏感信息泄露问题尚未得到充分研究。
  2. 本文提出MM-Privacy数据集，定义了泄露风险和保留风险，以系统评估多模态任务中的隐私风险。
  3. 研究表明，某些MLLMs在不同任务中存在敏感数据泄露的风险，强调了需要采取有效的隐私保护措施。

📝 摘要（中文）

文本类大语言模型（LLMs）的隐私风险已得到广泛研究，尤其是其记忆和泄露敏感信息的倾向。然而，多模态大语言模型（MLLMs）处理文本和图像，带来了独特的隐私挑战。本文揭示了一些MLLMs在隐私泄露方面的脆弱性，特别是图像中嵌入的敏感数据。我们提出了MM-Privacy数据集，旨在评估多模态任务中的隐私风险，并系统评估不同MLLMs的泄露情况，强调了任务不一致性对隐私风险的影响，呼吁采取缓解策略以防止数据暴露。

🔬 方法详解

问题定义：本文旨在解决多模态大语言模型在处理图像和文本时可能导致的隐私泄露问题。现有方法对图像中敏感信息的处理不足，未能有效评估其隐私风险。

核心思路：通过构建MM-Privacy数据集，系统评估多模态任务中的隐私风险，定义泄露风险和保留风险，以揭示模型在不同任务中的脆弱性。

技术框架：整体架构包括数据集构建、模型评估和风险分析三个主要模块。数据集涵盖多种多模态任务，模型评估则通过对比不同MLLMs的表现来分析隐私风险。

关键创新：MM-Privacy数据集的提出是本文的核心创新，填补了多模态模型隐私风险评估的空白，提供了系统化的评估框架。

关键设计：在数据集构建中，定义了多种任务场景，并设计了相应的评估指标，以量化模型的隐私泄露风险。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，部分多模态大语言模型在特定任务中存在显著的敏感数据泄露风险。通过使用MM-Privacy数据集，模型在隐私保护方面的表现得到了系统评估，为未来的改进提供了数据支持。

🎯 应用场景

该研究的潜在应用领域包括社交媒体、医疗影像分析和自动驾驶等，能够帮助开发更安全的多模态AI系统，保护用户隐私。未来，随着多模态技术的普及，隐私保护将成为重要的研究方向，推动相关政策和技术的进步。

📄 摘要（原文）

Privacy risks in text-only Large Language Models (LLMs) are well studied, particularly their tendency to memorize and leak sensitive information. However, Multi-modal Large Language Models (MLLMs), which process both text and images, introduce unique privacy challenges that remain underexplored. Compared to text-only models, MLLMs can extract and expose sensitive information embedded in images, posing new privacy risks. We reveal that some MLLMs are susceptible to privacy breaches, leaking sensitive data embedded in images or stored in memory. Specifically, in this paper, we (1) introduce MM-Privacy, a comprehensive dataset designed to assess privacy risks across various multi-modal tasks and scenarios, where we define Disclosure Risks and Retention Risks. (2) systematically evaluate different MLLMs using MM-Privacy and demonstrate how models leak sensitive data across various tasks, and (3) provide additional insights into the role of task inconsistency in privacy risks, emphasizing the urgent need for mitigation strategies. Our findings highlight privacy concerns in MLLMs, underscoring the necessity of safeguards to prevent data exposure. Our dataset and code can be found here.