The Task Shield: Enforcing Task Alignment to Defend Against Indirect Prompt Injection in LLM Agents

📄 arXiv: 2412.16682v1 📥 PDF

作者: Feiran Jia, Tong Wu, Xin Qin, Anna Squicciarini

分类: cs.CR, cs.AI, cs.CL, cs.LG

发布日期: 2024-12-21

💡 一句话要点

Task Shield：通过任务对齐防御LLM Agent中的间接Prompt注入攻击

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: LLM Agent Prompt注入攻击 任务对齐 安全防御 测试时防御

📋 核心要点

  1. 现有防御方法难以在保证LLM Agent安全性的同时，维持其完成任务的功能性，面临安全与效用的两难。
  2. Task Shield的核心思想是将Agent安全从防止有害行为，转变为确保所有行为与用户目标对齐，从而实现更有效的防御。
  3. 实验表明，Task Shield在AgentDojo基准测试中，显著降低了攻击成功率，同时保持了较高的任务完成效用。

📝 摘要（中文）

大型语言模型（LLM）Agent越来越多地被部署为会话助手，通过工具集成执行复杂的现实世界任务。这种与外部系统交互和处理各种数据源的增强能力虽然强大，但也带来了重大的安全漏洞。特别是，间接prompt注入攻击构成了一个关键威胁，其中嵌入在外部数据源中的恶意指令可以操纵Agent偏离用户意图。虽然现有的基于规则约束、来源聚焦和身份验证协议的防御方法显示出希望，但它们难以在保持强大安全性的同时保持任务功能。我们提出了一种新颖且正交的视角，将Agent安全重新定义为确保任务对齐，要求每个Agent动作都服务于用户指定的目标。基于此，我们开发了Task Shield，一种测试时防御机制，系统地验证每个指令和工具调用是否有助于用户指定的目标。通过在AgentDojo基准上的实验，我们证明了Task Shield降低了攻击成功率（2.07%），同时在GPT-4o上保持了较高的任务效用（69.79%）。

🔬 方法详解

问题定义：论文旨在解决LLM Agent中，由于间接Prompt注入攻击导致Agent偏离用户意图的问题。现有防御方法，如规则约束、来源聚焦和身份验证协议，在安全性和任务功能性之间难以取得平衡，无法有效防御此类攻击。

核心思路：论文的核心思路是将Agent安全问题重新定义为“任务对齐”问题。即，不是简单地阻止Agent执行某些“有害”操作，而是确保Agent的每一个动作都服务于用户预先设定的目标。这种方法避免了过度限制Agent的能力，同时又能有效防御恶意注入。

技术框架：Task Shield是一个测试时防御机制，其核心流程是：在Agent执行每个指令或工具调用之前，Task Shield会验证该动作是否对用户指定的目标有贡献。如果验证失败，则阻止该动作的执行。具体来说，Task Shield需要定义用户目标，并设计一种方法来评估Agent的动作是否与目标对齐。

关键创新：该论文的关键创新在于其视角转换，即从“防止有害行为”到“确保任务对齐”。这种视角转变使得防御策略更加灵活和有效，能够在不牺牲Agent功能性的前提下，防御间接Prompt注入攻击。与现有方法相比，Task Shield不是依赖于预定义的规则或黑名单，而是根据用户目标动态地评估Agent的行为。

关键设计：论文中关于如何具体定义用户目标，以及如何评估Agent动作与目标对齐程度的技术细节未知。但可以推测，可能需要使用LLM本身来理解用户目标，并评估Agent动作的语义相关性。具体的实现可能涉及到相似度计算、逻辑推理等技术。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，Task Shield在AgentDojo基准测试中，能够将GPT-4o的攻击成功率降低至2.07%，同时保持69.79%的任务效用。这表明Task Shield能够在显著降低攻击风险的同时，保证Agent完成任务的能力，优于现有防御方法。

🎯 应用场景

Task Shield可应用于各种需要LLM Agent与外部系统交互的场景，例如智能客服、自动化办公、智能家居等。通过确保Agent的行为始终与用户目标对齐，可以有效防止恶意攻击，提高系统的安全性和可靠性，从而促进LLM Agent在现实世界中的广泛应用。

📄 摘要（原文）

Large Language Model (LLM) agents are increasingly being deployed as conversational assistants capable of performing complex real-world tasks through tool integration. This enhanced ability to interact with external systems and process various data sources, while powerful, introduces significant security vulnerabilities. In particular, indirect prompt injection attacks pose a critical threat, where malicious instructions embedded within external data sources can manipulate agents to deviate from user intentions. While existing defenses based on rule constraints, source spotlighting, and authentication protocols show promise, they struggle to maintain robust security while preserving task functionality. We propose a novel and orthogonal perspective that reframes agent security from preventing harmful actions to ensuring task alignment, requiring every agent action to serve user objectives. Based on this insight, we develop Task Shield, a test-time defense mechanism that systematically verifies whether each instruction and tool call contributes to user-specified goals. Through experiments on the AgentDojo benchmark, we demonstrate that Task Shield reduces attack success rates (2.07\%) while maintaining high task utility (69.79\%) on GPT-4o.