Compromising Embodied Agents with Contextual Backdoor Attacks

📄 arXiv: 2408.02882v1 📥 PDF

作者: Aishan Liu, Yuguang Zhou, Xianglong Liu, Tianyuan Zhang, Siyuan Liang, Jiakai Wang, Yanjun Pu, Tianlin Li, Junqi Zhang, Wenbo Zhou, Qing Guo, Dacheng Tao

分类: cs.AI, cs.CR, cs.LG

发布日期: 2024-08-06

💡 一句话要点

提出Contextual Backdoor Attack，通过上下文投毒攻击具身智能体

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 具身智能 后门攻击 上下文学习 大型语言模型 对抗性攻击

📋 核心要点

  1. 现有基于LLM的具身智能体开发易受攻击，缺乏对上下文投毒的防御机制。
  2. 提出Contextual Backdoor Attack，通过对抗性上下文学习，隐蔽地破坏LLM的上下文环境。
  3. 实验证明该方法能有效攻击机器人规划、操作和自动驾驶等任务，造成严重安全威胁。

📝 摘要（中文）

本文揭示了具身智能体开发中基于大型语言模型（LLM）的上下文学习方法存在严重后门安全威胁，并提出了一种名为Contextual Backdoor Attack的新方法。通过仅对少量上下文演示进行投毒，攻击者可以隐蔽地破坏黑盒LLM的上下文环境，使其生成带有上下文依赖缺陷的程序。这些程序表面上逻辑合理，但包含缺陷，当具身智能体在交互环境中遇到特定触发器时，这些缺陷会被激活并导致意外行为。为了破坏LLM的上下文环境，我们采用对抗性上下文生成来优化投毒演示，其中LLM裁判评估这些投毒提示，并向另一个LLM报告，该LLM使用思维链推理在双人对抗博弈中迭代优化演示。为了在下游智能体中实现上下文相关的行为，我们实施了一种双模态激活策略，通过文本和视觉触发器控制程序缺陷的生成和执行。我们通过开发五种程序缺陷模式来扩展攻击范围，这些模式会损害具身智能体的保密性、完整性和可用性的关键方面。为了验证我们方法的有效性，我们在各种任务中进行了广泛的实验，包括机器人规划、机器人操作和组合视觉推理。此外，我们通过成功攻击真实的自动驾驶系统来证明了我们方法的潜在影响。

🔬 方法详解

问题定义：论文旨在解决大型语言模型（LLM）驱动的具身智能体在上下文学习过程中存在的后门攻击漏洞。现有的方法依赖于LLM的上下文学习能力，通过少量示例（上下文演示）来指导智能体执行任务，但这种方式容易受到恶意攻击者的利用，他们可以通过投毒这些上下文演示，使得LLM生成带有缺陷的程序，从而控制智能体的行为。现有的防御机制对此类攻击缺乏有效的防御手段。

核心思路：论文的核心思路是通过对抗性生成的方式，精心设计并注入带有特定触发器的恶意上下文演示，从而诱导LLM在特定情境下生成包含缺陷的程序。这些程序在正常情况下看起来是正确的，但在遇到预设的触发条件时，会激活隐藏的恶意行为。这种方法利用了LLM对上下文的敏感性，以及其生成代码的黑盒特性，使得攻击更具隐蔽性和有效性。

技术框架：该攻击框架主要包含以下几个阶段：1) 投毒演示生成：利用对抗性上下文生成技术，通过LLM judge评估投毒提示，并反馈给另一个LLM，该LLM使用思维链推理在双人对抗博弈中迭代优化演示。2) LLM程序生成：被投毒的上下文演示被输入到目标LLM中，LLM根据这些演示生成用于控制具身智能体的程序。3) 双模态激活：通过文本和视觉触发器控制程序缺陷的生成和执行，使得恶意行为在特定情境下被激活。4) 程序缺陷模式：设计了五种程序缺陷模式，分别针对保密性、完整性和可用性进行攻击。

关键创新：该论文的关键创新在于：1) 提出了Contextual Backdoor Attack的概念，揭示了LLM驱动的具身智能体在上下文学习中存在的后门攻击风险。2) 采用了对抗性上下文生成技术，能够有效地生成带有特定触发器的恶意上下文演示。3) 实现了双模态激活策略，通过文本和视觉触发器控制程序缺陷的激活，使得攻击更具隐蔽性和灵活性。4) 设计了五种程序缺陷模式，能够全面地损害具身智能体的安全性。

关键设计：在对抗性上下文生成过程中，使用了LLM judge来评估投毒提示的有效性，并采用思维链推理来优化演示。双模态激活策略通过结合文本和视觉信息，提高了触发的准确性和可靠性。五种程序缺陷模式包括：信息泄露、拒绝服务、权限提升、代码注入和模型替换，分别针对不同的安全威胁。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，该方法能够成功攻击各种任务，包括机器人规划、机器人操作和组合视觉推理。在自动驾驶实验中，通过投毒上下文演示，成功诱导自动驾驶系统在特定情况下做出错误决策，例如闯红灯或偏离车道，证明了该方法在实际应用中的潜在威胁。攻击成功率显著高于基线方法，表明了其有效性。

🎯 应用场景

该研究成果对具身智能体的安全具有重要意义，可应用于机器人、自动驾驶、智能家居等领域。通过提高对上下文投毒攻击的认识和防御能力，可以有效保护这些系统免受恶意攻击，确保其安全可靠运行。未来的研究可以集中在开发更强大的防御机制，例如输入验证、异常检测和鲁棒性训练，以提高具身智能体对后门攻击的抵抗能力。

📄 摘要（原文）

Large language models (LLMs) have transformed the development of embodied intelligence. By providing a few contextual demonstrations, developers can utilize the extensive internal knowledge of LLMs to effortlessly translate complex tasks described in abstract language into sequences of code snippets, which will serve as the execution logic for embodied agents. However, this paper uncovers a significant backdoor security threat within this process and introduces a novel method called \method{}. By poisoning just a few contextual demonstrations, attackers can covertly compromise the contextual environment of a black-box LLM, prompting it to generate programs with context-dependent defects. These programs appear logically sound but contain defects that can activate and induce unintended behaviors when the operational agent encounters specific triggers in its interactive environment. To compromise the LLM's contextual environment, we employ adversarial in-context generation to optimize poisoned demonstrations, where an LLM judge evaluates these poisoned prompts, reporting to an additional LLM that iteratively optimizes the demonstration in a two-player adversarial game using chain-of-thought reasoning. To enable context-dependent behaviors in downstream agents, we implement a dual-modality activation strategy that controls both the generation and execution of program defects through textual and visual triggers. We expand the scope of our attack by developing five program defect modes that compromise key aspects of confidentiality, integrity, and availability in embodied agents. To validate the effectiveness of our approach, we conducted extensive experiments across various tasks, including robot planning, robot manipulation, and compositional visual reasoning. Additionally, we demonstrate the potential impact of our approach by successfully attacking real-world autonomous driving systems.