In-Context Defense in Computer Agents: An Empirical Study
作者: Pei Yang, Hai Ci, Mike Zheng Shou
分类: cs.AI
发布日期: 2025-03-12
💡 一句话要点
提出上下文防御方法，提升计算机Agent抵抗环境欺骗攻击的能力
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 计算机Agent 上下文防御 环境欺骗攻击 上下文学习 思维链推理 人机交互 视觉-语言模型
📋 核心要点
- 现有计算机Agent易受环境欺骗攻击，攻击者通过嵌入误导性内容干扰Agent的决策，而现有防御方法效果不佳。
- 论文提出上下文防御方法，通过上下文学习和思维链推理，引导Agent在行动前进行防御性推理，降低受攻击影响。
- 实验表明，该方法能显著降低Agent在多种攻击场景下的攻击成功率，且只需少量示例即可有效防御。
📝 摘要（中文）
本文针对视觉-语言模型驱动的计算机Agent易受上下文欺骗攻击的问题，提出了一种名为“上下文防御”的新方法。该方法利用上下文学习和思维链（CoT）推理，通过在Agent的上下文中加入少量精心设计的示例，引导Agent在行动规划前进行显式的防御性推理，从而降低其对欺骗性攻击的敏感性。实验结果表明，该方法能够显著降低Agent在弹出窗口攻击、环境注入攻击和干扰性广告下的攻击成功率，分别降低了91.2%、平均74.6%和100%。研究结果强调，防御性推理必须先于行动规划，并且只需少量示例即可诱导Agent产生防御行为。
🔬 方法详解
问题定义：论文旨在解决计算机Agent在面对上下文欺骗攻击时的脆弱性问题。现有的防御方法，例如简单地指示Agent忽略欺骗性元素，在实际应用中效果不佳，Agent仍然容易受到攻击者精心设计的欺骗性环境的影响。这种脆弱性限制了计算机Agent在开放和动态环境中的可靠性和安全性。
核心思路：论文的核心思路是利用上下文学习（In-Context Learning）的能力，通过向Agent提供包含恶意环境和相应防御性响应的示例，来引导Agent学习如何识别和应对欺骗性攻击。这种方法模仿了人类在面对新情况时，通过参考过去的经验来做出判断和决策的过程。
技术框架：该方法的整体框架包括以下几个主要阶段：1) 攻击环境构建：构建包含欺骗性信息的Agent操作环境，例如带有误导性指令的弹出窗口。2) 示例构建：精心设计包含恶意环境和对应防御性响应的示例，作为Agent上下文学习的输入。3) 上下文学习与推理：将示例添加到Agent的上下文中，引导Agent进行思维链（CoT）推理，首先进行防御性推理，然后进行行动规划。4) 行动执行与评估：Agent根据推理结果执行行动，并评估防御效果。
关键创新：该论文最重要的技术创新点在于提出了“上下文防御”的概念，并将其应用于计算机Agent的防御。与传统的防御方法不同，上下文防御不依赖于预先定义的规则或模型，而是通过上下文学习让Agent自主学习防御策略。这种方法具有更强的适应性和泛化能力，能够应对各种未知的欺骗性攻击。
关键设计：在示例构建方面，论文强调了示例质量的重要性，需要精心设计包含恶意环境和对应防御性响应的示例，以引导Agent进行正确的防御性推理。实验结果表明，只需少量（少于3个）示例即可有效诱导Agent产生防御行为。此外，论文还强调了防御性推理必须先于行动规划，以确保Agent在采取行动之前能够充分评估环境的安全性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，上下文防御方法能够显著降低Agent在各种攻击场景下的攻击成功率。在弹出窗口攻击中，攻击成功率降低了91.2%；在环境注入攻击中，平均降低了74.6%；对于干扰性广告，实现了100%的成功防御。此外，实验还证明，只需少量（少于3个）示例即可有效诱导Agent产生防御行为。
🎯 应用场景
该研究成果可应用于各种需要与复杂环境交互的计算机Agent，例如智能家居助手、自动驾驶系统、在线购物助手等。通过提高Agent的安全性，可以增强用户对这些系统的信任，并促进其更广泛的应用。未来，该技术还可以扩展到其他类型的攻击，例如对抗性攻击和数据中毒攻击。
📄 摘要（原文）
Computer agents powered by vision-language models (VLMs) have significantly advanced human-computer interaction, enabling users to perform complex tasks through natural language instructions. However, these agents are vulnerable to context deception attacks, an emerging threat where adversaries embed misleading content into the agent's operational environment, such as a pop-up window containing deceptive instructions. Existing defenses, such as instructing agents to ignore deceptive elements, have proven largely ineffective. As the first systematic study on protecting computer agents, we introduce textbf{in-context defense}, leveraging in-context learning and chain-of-thought (CoT) reasoning to counter such attacks. Our approach involves augmenting the agent's context with a small set of carefully curated exemplars containing both malicious environments and corresponding defensive responses. These exemplars guide the agent to first perform explicit defensive reasoning before action planning, reducing susceptibility to deceptive attacks. Experiments demonstrate the effectiveness of our method, reducing attack success rates by 91.2% on pop-up window attacks, 74.6% on average on environment injection attacks, while achieving 100% successful defenses against distracting advertisements. Our findings highlight that (1) defensive reasoning must precede action planning for optimal performance, and (2) a minimal number of exemplars (fewer than three) is sufficient to induce an agent's defensive behavior.