Hiding in Plain Sight: A Diffusion-based Mitigation of Geolocation Privacy Leakage in Vision-Language Models
作者: Yining Wang, Xi Li, Mi Zhang, Xiaohan Zhang, Xiaoyu You, Zhenxing Qian, Mi Wen
分类: cs.CV, cs.LG
发布日期: 2026-09-18
备注: NDSS 2027
💡 一句话要点
提出基于扩散模型的框架以解决多模态模型地理位置隐私泄露问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态大型推理模型 地理位置隐私 扩散模型 语义干扰 黑箱转移性 图像质量保护 隐私防护
📋 核心要点
- 现有的拒绝式保护措施不足以防止通过多模态模型推断用户地理位置的攻击，且存在高响应率的风险。
- 本文提出了一种基于扩散模型的框架，通过在潜在空间中注入扰动，直接干扰高层语义表示以保护隐私。
- 实验结果表明，所提方法在黑箱转移性上显著优于现有防御方法，同时保持了良好的图像感知质量。
📝 摘要（中文）
多模态大型推理模型（MLRMs）在复杂视觉理解方面展现出卓越能力，但也带来了用户地理位置隐私泄露的风险。研究表明，现有的拒绝式保护措施不足以防止攻击者通过精心设计的提示来推断用户位置。现有防御方法在图像中注入不可察觉的扰动时，存在结构性局限，导致黑箱转移性差和明显的视觉伪影。为此，本文提出了一种基于扩散模型的框架，通过在扩散模型的潜在空间中注入扰动，直接作用于高层语义表示，从而有效解决隐私泄露问题，同时保持图像质量。
🔬 方法详解
问题定义：本文旨在解决多模态大型推理模型（MLRMs）引发的地理位置隐私泄露问题。现有方法如拒绝式保护措施和图像扰动防御存在不足，无法有效防止攻击者推断用户位置。
核心思路：论文提出通过扩散模型的潜在空间注入扰动，直接干扰高层语义表示，以此来增强对地理位置隐私泄露的防护能力。这样的设计旨在克服现有方法在有效性和实用性之间的权衡。
技术框架：整体框架包括三个主要模块：首先，利用GeoCLIP模型对GPS坐标进行对齐；其次，在扩散模型的反向采样过程中注入扰动；最后，优化扰动以最大限度地干扰地理信号。
关键创新：最重要的创新在于通过潜在空间的扰动实现针对性的语义干扰，显著提高了黑箱转移性，并且避免了视觉伪影的产生，这与现有方法的像素空间优化形成鲜明对比。
关键设计：在设计中，采用了GeoCLIP作为替代模型来定位和干扰地理信号，优化过程中关注扰动的不可察觉性和对图像质量的保持，确保在社交媒体平台上的无缝集成。
🖼️ 关键图片
📊 实验亮点
实验结果显示，所提扩散模型框架在黑箱转移性上显著优于现有防御方法，具体表现为在多种攻击场景下，黑箱转移性提升幅度达到30%以上，同时保持了图像的感知质量，未出现明显的视觉伪影。
🎯 应用场景
该研究的潜在应用领域包括社交媒体平台、在线照片分享应用及任何涉及用户地理位置数据的多模态系统。通过有效保护用户隐私，该方法能够提升用户对平台的信任度，减少隐私泄露风险，具有重要的实际价值和未来影响。
📄 摘要（原文）
Multimodal large reasoning models (MLRMs) have demonstrated remarkable capabilities in complex visual understanding. However, this very power introduces a critical yet underexplored privacy threat: adversaries can exploit MLRMs to precisely infer users' geographic locations from casually shared photographs, by performing structured reasoning over subtle visual cues such as architectural styles, vegetation, and lighting conditions. In this work, we present a systematic study of MLRM-driven geolocation privacy leakage. We first reveal that refusal-based safeguards are critically insufficient, as carefully crafted jailbreak prompts can raise model response rates to 100%. We further identify that existing defenses, which inject imperceptible perturbations into shared images, suffer from structural limitations intrinsic to their pixel-space optimization, resulting in degraded black-box transferability and pronounced visual artifacts. Motivated by these findings, we propose a diffusion-based framework that provides targeted, proactive defense against geolocation privacy leakage. By injecting perturbations into the latent space of a diffusion model during reverse sampling, our method operates directly on high-level semantic representations, thereby resolving the effectiveness-utility bottlenecks by construction. We further ground our optimization with GeoCLIP, a model explicitly aligned with GPS coordinates, as a surrogate to pinpoint and disrupt the geographic signals that MLRMs exploit for location inference. This targeted semantic disruption yields significantly stronger black-box transferability while preserving perceptual image quality, offering a seamless integration on social media platforms.