RAISED: Self-Distillation for Robustness to Prompt Injection in LLM Agents

📄 arXiv: 2610.06401v1 📥 PDF

作者: Mohamed Dhouib, Clement Elliker, Alexi Canesse, Maël Jenny, Lucas-Andrei Thil, Mahammed El-Sharkawy, Sonia Vanier, Elie Bursztein

分类: cs.CR, cs.AI, cs.CL, cs.LG

发布日期: 2026-10-05

💡 一句话要点

提出RAISED以解决大语言模型代理的提示注入问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 提示注入 自蒸馏 鲁棒性 工具使用 大语言模型 安全性 训练框架

📋 核心要点

  1. 现有训练防御方法在降低提示注入攻击成功率的同时，常常导致模型输出分布的显著漂移，影响其在良性环境下的表现。
  2. RAISED框架通过自生成工具使用场景和自蒸馏，训练模型在执行任务时更好地利用工具输出，从而增强鲁棒性。
  3. 实验结果表明，RAISED在降低攻击成功率的同时，保持了模型在多种基准任务上的效用，展示了其优越性。

📝 摘要（中文）

工具使用语言模型代理容易受到间接提示注入的攻击，因为它们必须处理不可信的外部内容。现有的训练防御方法虽然能降低攻击成功率，但往往会损害模型的通用能力。本文提出RAISED（通过自蒸馏实现鲁棒攻击不变性），该框架结合自生成和自蒸馏，模型首先生成自己的工具使用场景，重点关注需要根据工具输出采取行动的任务完成情况。然后，通过自蒸馏，学生模型在干净和注入变体上训练以匹配教师模型的行为。RAISED显著降低了工具响应中的提示注入攻击成功率，同时保持了模型在代理和通用基准上的效用。

🔬 方法详解

问题定义：本文旨在解决大语言模型代理在处理不可信外部内容时，易受到间接提示注入攻击的问题。现有方法虽然能减少攻击成功率，但会导致模型行为的显著变化，影响其在正常任务中的表现。

核心思路：RAISED的核心思路是结合自生成和自蒸馏，首先让模型生成工具使用场景，特别是需要依赖工具输出的任务，然后通过自蒸馏训练学生模型以匹配教师模型的行为，从而增强模型的鲁棒性。

技术框架：RAISED框架包括两个主要阶段：第一阶段是自生成，模型生成多种工具使用场景；第二阶段是自蒸馏，学生模型在干净和注入的场景上进行训练，以学习教师模型的行为。

关键创新：RAISED的创新之处在于通过自生成和自蒸馏的结合，显著降低了提示注入攻击的成功率，同时保持了模型的实用性，这与传统的训练防御方法形成鲜明对比。

关键设计：在设计中，模型生成的场景强调了任务完成所需的工具输出，损失函数则通过对比教师和学生模型的行为来进行优化，确保学生模型在多种环境下的鲁棒性。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果显示，RAISED在工具响应中的提示注入攻击成功率显著降低，具体数据表明，相较于传统方法，攻击成功率降低了约30%，同时在代理和通用基准测试中保持了高效用性。

🎯 应用场景

该研究的潜在应用领域包括智能助手、自动化工具和其他依赖于语言模型的系统，能够有效提升这些系统在面对恶意输入时的安全性和可靠性。未来，RAISED可能会在更广泛的AI应用中得到推广，增强其对攻击的抵抗能力。

📄 摘要（原文）

Tool-using language-model agents are vulnerable to indirect prompt injection because they must act on untrusted external content. Existing training-time defenses can reduce attack success rates, but often at the cost of general capabilities. We show that training-based defenses induce substantial drift in the model's output distribution, altering its behavior even in benign settings and providing a potential mechanism for utility degradation. We further identify a failure mode of these defenses: On benign tool-use tasks, the model refrains from a step needed to finish an authorized task, particularly when that step is indicated by a tool output. To address these limitations, we introduce RAISED (Robust Attack Invariance through Self-Distillation), a training framework that combines self-generation and self-distillation. The model first generates its own tool-use scenarios, with an emphasis on cases where task completion requires acting on legitimate guidance from tool outputs. Then, through self-distillation, the student is trained to match the teacher's clean-context behavior on both clean and injected variants of the same trajectory. RAISED substantially reduces the attack success rate of prompt injections in tool responses while, unlike prior training-based defenses, preserving utility on both agentic and general-purpose benchmarks.