Walking the Embedding Space: Datastore Extraction from Multimodal RAG
作者: Maria Carmen Jica, Ali Satvaty, Suzan Verberne, Fatih Turkmen
分类: cs.CR, cs.AI
发布日期: 2026-10-01
💡 一句话要点
提出$ ext{immrag}$以解决多模态RAG中的数据提取攻击问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态检索 数据提取攻击 图像处理 生成模型 安全性
📋 核心要点
- 现有的多模态检索增强生成方法虽然有效，但存在数据泄露和提取攻击的风险。
- 本文提出的$ ext{immrag}$方法通过将恶意指令嵌入用户输入图像中，提升了攻击的隐蔽性和有效性。
- 实验表明，$ ext{immrag}$在多个场景中能够重建大量独特的图像，显著提高了数据提取的效率。
📝 摘要（中文）
多模态检索增强生成（MRAG）已成为将多模态大型语言模型（MLLM）的生成能力与相关的、最新的外部知识结合的可靠且经济有效的技术。尽管MRAG具有减少幻觉行为等优点，但也引入了新的攻击面，包括私人信息泄露和数据提取攻击的脆弱性。本文提出了$ ext{immrag}$，一种在黑箱环境下针对图像返回MRAG的自适应自动数据提取攻击程序。该方法通过将攻击者持有的阴影图像与系统中已恢复的图像混合，利用相关性加权重采样引导后续查询到仍能产生新检索的嵌入空间区域。我们在三个真实场景中评估了$ ext{immrag}$的有效性，实验结果显示该方法在多个CLIP系列检索器上表现出色，重建了大量不同的医学影像和文档扫描，显示出多模态数据保护的迫切需求。
🔬 方法详解
问题定义：本文旨在解决多模态检索增强生成（MRAG）中的数据提取攻击问题。现有方法通常依赖文本提示进行攻击，容易被检测和防御。
核心思路：$ ext{immrag}$通过将恶意指令嵌入用户提供的输入图像中，利用图像的特征进行攻击，从而提高了攻击的隐蔽性和成功率。
技术框架：该方法的整体架构包括三个主要模块：输入图像处理、相关性加权重采样和查询生成。首先，输入图像与系统中已恢复的图像进行混合，然后通过加权重采样引导后续查询。
关键创新：$ ext{immrag}$的主要创新在于其攻击方式的转变，从文本提示转向图像嵌入，这使得攻击更加隐蔽且难以防御。
关键设计：在参数设置上，$ ext{immrag}$采用了相关性加权重采样策略，以确保查询能够覆盖更多的嵌入空间，同时使用了多种生成器进行效果评估。实验中，单次2500个查询能够重建611个独特的放射学图像，显示出其高效性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，$ ext{immrag}$在三个真实场景中表现出色，单次2500个查询能够重建611个独特的放射学图像，566个文档扫描和416个通用图像，相较于非自适应基线，提取效率提高了5.6倍，显示出其强大的数据提取能力。
🎯 应用场景
该研究的潜在应用领域包括医疗助手、文档处理工具和通用目的工具等。通过提高对多模态数据的提取能力，$ ext{immrag}$能够帮助开发更智能的系统，同时也为数据安全提供了新的挑战和思考。未来，针对多模态数据的保护措施将变得更加重要。
📄 摘要（原文）
Multimodal Retrieval-Augmented Generation (MRAG) has emerged as a reliable and cost-effective technique of grounding the generative capabilities of Multimodal Large Language Models (MLLMs) into relevant, up-to-date, external knowledge. Despite presenting several benefits, such as reducing hallucinatory behavior, they also introduce new attack surfaces, including leakage of private information and vulnerabilities against data extraction attacks. In this paper, we introduce $\immrag$, an adaptive and automatic data extraction attack procedure operating in a black box setting against \emph{image-returning} MRAG, a configuration in which the retrieved visual artifact is itself the response. Each query blends an attacker-held shadow image with an image already recovered from the system, and relevance-weighted resampling steers subsequent queries towards regions of the embedding space that still yield novel retrievals. Unlike current extraction attacks that aim to persuade the model towards data leakage by placing a malicious query as a textual prompt, $\immrag$ embeds the malicious instructions inside a user-given input image. We evaluate $\immrag$ on three plausible and distinct real-world scenarios: medical assistant, document-focused helper and general purpose tool. The experiments involve the study of the effectiveness of the attack on multiple CLIP-family retrievers, as well as the impact of various generators. A single 2500-query run reconstructs up to 611 distinct radiology images, 566 document scans and 416 general-purpose images under local-feature correspondence, and reaches up to $5.6\times$ as many distinct datastore items as a non-adaptive baseline. Our results show the urgent need for safeguards specifically designed for multimodal data.