Seeing Without Exposing: Adaptive Privacy Control for Open-World, Context-Hungry MLLMs

📄 arXiv: 2606.07175v1 📥 PDF

作者: Siyuan Xu, Yibing Liu, Peilin Chen, Yung-Hui Li, Shiqi Wang, Sam Kwong

分类: cs.CV

发布日期: 2026-06-05

💡 一句话要点

提出Anchored Privacy Drifting以解决多模态大语言模型隐私问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 隐私保护 多模态大语言模型 上下文保留 敏感信息处理 机器学习

📋 核心要点

  1. 现有隐私保护方法依赖于固定的敏感类别和模糊策略，难以应对多模态大语言模型中的隐私挑战。
  2. 本文提出Anchored Privacy Drifting（APD），通过漂移隐私敏感元素并锚定上下文线索来实现隐私保护与上下文保留的平衡。
  3. 实验结果显示，APD在四个MLLM系列上实现了文本类别平均提升10.4%，在基于MLLM的评估中提升8.5%。

📝 摘要（中文）

多模态大语言模型（MLLMs）带来了新的隐私挑战。用户提供的输入常常包含不可预测的敏感信息，而模型推理又依赖于可能敏感的丰富视觉上下文。现有隐私保护方法依赖于预定义的敏感类别和固定的模糊策略，难以应对MLLMs中的这些挑战。为了解决这一困境，本文提出了一种无训练的方法——Anchored Privacy Drifting（APD），该方法将隐私敏感元素漂移至语义等价的替代品，同时将上下文线索锚定在源图像上。我们引入了AdaptShield，一个涵盖22个隐私类别的综合基准，以系统评估隐私保护和上下文保留的双重目标。实验表明，该方法在隐私去标识化和内容保留方面均取得了平衡的提升，文本类别平均提升10.4%，在基于MLLM的评估中提升8.5%。

🔬 方法详解

问题定义：本文旨在解决多模态大语言模型（MLLMs）中的隐私保护问题，现有方法因依赖固定的敏感类别和模糊策略，难以适应用户输入中不可预测的敏感信息和上下文的隐私敏感性。

核心思路：提出Anchored Privacy Drifting（APD）方法，通过将隐私敏感元素漂移至语义等价的替代品，同时将上下文线索锚定在源图像上，来实现隐私保护与上下文保留的双重目标。

技术框架：APD方法的整体框架包括两个主要模块：隐私漂移模块和上下文锚定模块。隐私漂移模块负责识别并替换敏感信息，而上下文锚定模块则确保上下文信息的完整性。

关键创新：APD的创新在于其训练自由的特性，能够动态适应不同的隐私需求，而不是依赖于预定义的敏感类别，显著提高了隐私保护的灵活性和有效性。

关键设计：在实现APD时，设计了特定的损失函数以平衡隐私保护和上下文保留，并采用了多模态评估指标来验证方法的有效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，APD方法在隐私去标识化和内容保留方面均取得显著提升，文本类别平均提升10.4%，在基于MLLM的评估中提升8.5%。这些结果表明APD在隐私保护与上下文保留之间实现了良好的平衡，具有较强的实用价值。

🎯 应用场景

该研究的潜在应用领域包括社交媒体平台、在线客服系统和智能家居设备等，能够有效保护用户隐私，同时确保信息的上下文完整性。随着对隐私保护需求的增加，APD方法有望在多模态交互中发挥重要作用，推动隐私保护技术的发展。

📄 摘要（原文）

Multimodal large language models (MLLMs) have raised new privacy challenges. On the data side, user-provided inputs often include unpredictable sensitive information; while on the downstream task side, model reasoning depends on rich visual context that may itself be privacy-sensitive. Existing privacy protection methods, however, rely on predefined sensitive categories and fixed obfuscation strategies, struggling to tackle such challenges in MLLMs. To address this dilemma, we propose Anchored Privacy Drifting (APD), a training-free method that drifts privacy-sensitive elements toward semantically equivalent alternatives while anchoring contextual cues to the source image. To systematically evaluate this dual objective of privacy protection and contextual preservation, we introduce AdaptShield, a comprehensive benchmark covering 22 privacy categories, which combines conventional privacy metrics with MLLM-based assessments of contextual utility. Extensive experiments show that our method achieves balanced improvements in both privacy sanitization and content retention, with average gains of 10.4% on textual categories and 8.5% under MLLM-based evaluation across four MLLM series, i.e., Qwen2.5, Qwen3, InternVL3, and InternVL3.5.