Do Agents Dream of False Memories? Black-box Visual Attacks on Long-term Memory in Multimodal AI Agents

📄 arXiv: 2607.15657 📥 PDF

作者: Halima Bouzidi, Mboutidem Ekemini Mkpong, Mohammad Abdullah Al Faruque

分类: cs.CR, cs.CV, cs.LG

发布日期: 2026-07-20

💡 一句话要点

提出Lucid框架以解决多模态AI代理的记忆脆弱性问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态AI 长期记忆 对抗性攻击 记忆中毒 记忆注入 黑箱模型 视觉数据 安全性评估

📋 核心要点

  1. 现有多模态AI代理对视觉数据的无条件信任导致了长期记忆的脆弱性，容易受到攻击。
  2. 论文提出Lucid框架，通过黑箱对抗方法在图像限制下攻击多模态记忆管道，展示了记忆中毒和注入的两种攻击模式。
  3. 实验结果表明，Lucid在记忆中毒和注入任务中分别达到了61.6%和58.4%的成功率，验证了其有效性。

📝 摘要（中文）

多模态AI代理越来越依赖持久的长期记忆来将生成内容与过去的视觉和文本事件相结合。我们展示了对视觉数据的无条件信任造成了关键脆弱性。我们提出了Lucid，一个黑箱对抗框架，在严格的图像限制威胁模型下，破坏多模态记忆管道，无需访问目标的MLLM、检索编码器或文本通道。Lucid能够生成不可察觉的扰动，从而实现两种不同的失败模式：记忆中毒和记忆注入。我们在多个对话领域和五种黑箱记忆架构上评估Lucid，结果显示其在记忆中毒和注入方面的成功率分别为61.6%和58.4%，揭示了多模态记忆管道的结构性脆弱性。

🔬 方法详解

问题定义：论文要解决的问题是多模态AI代理在长期记忆中对视觉数据的脆弱性，现有方法未能有效防御此类攻击，导致记忆被恶意操控。

核心思路：论文的核心思路是设计Lucid框架，通过生成不可察觉的扰动来攻击多模态记忆管道，利用图像限制模型进行记忆中毒和注入。

技术框架：Lucid框架包括两个主要模块：记忆中毒模块和记忆注入模块。前者在有历史上下文的情况下进行攻击，后者则在没有上下文的情况下进行攻击。

关键创新：Lucid的关键创新在于其黑箱对抗方法，能够在不接触目标模型的情况下有效破坏多模态记忆，且实现了两种不同的攻击模式。

关键设计：在设计中，Lucid采用了特定的扰动生成算法，确保生成的扰动对人类观察者不可察觉，同时优化了攻击成功率的损失函数。具体的网络结构和参数设置在论文中详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，Lucid在记忆中毒任务中达到了61.6%的攻击成功率，而在记忆注入任务中则达到了58.4%。这些结果显著高于现有方法，揭示了多模态记忆管道的结构性脆弱性。

🎯 应用场景

该研究的潜在应用领域包括安全性评估、对抗性训练和多模态AI系统的鲁棒性提升。通过识别和修复记忆脆弱性，可以增强AI代理在真实环境中的可靠性和安全性，具有重要的实际价值和未来影响。

📄 摘要（原文）

Multimodal AI agents increasingly rely on persistent long-term memory to ground generation in past visual and textual episodes. We show that unconditional trust in visual data creates a critical vulnerability. We propose Lucid, a black-box adversarial framework that compromises multimodal memory pipelines under a strictly image-bounded threat model, requiring no access to the target MLLM, target retrieval encoder, or the text channel. Lucid crafts imperceptible perturbations to enable two distinct failure modes based on the availability of historical context: (1) Memory poisoning, an in-context attack where the adversarial image replaces a benign one whose content is reinforced by prior textual context, reliably corrupting visual recall and steering the agent toward attacker-chosen narratives; (2) Memory injection, an out-of-context attack where the adversarial image replaces a benign one in a conversation turn devoid of prior textual grounding, causing the agent to generate attacker-influenced responses with no corrective signal from memory. We evaluate Lucid across various conversation domains and five black-box memory architectures, including graph-structured, LLM-summarized, and commercially deployed systems. Lucid achieves 61.6% ASR on poisoning and 58.4% ASR on injection, exposing a structural vulnerability in multimodal memory pipelines.