Data Leakage Prevention in Agentic Applications via Preemptive Hardening
作者: Akansha Shukla, Emily Bellov, Parth Atulbhai Gandhi, Yuval Elovici, Asaf Shabtai
分类: cs.CR, cs.AI
发布日期: 2026-07-21
💡 一句话要点
提出预防数据泄露的管道以解决多代理应用中的安全问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control)
关键词: 数据泄露 代理系统 安全加固 对抗性攻击 自动化验证 多代理应用 工具接口
📋 核心要点
- 现有的多代理系统在数据泄露和工具误用方面面临严重挑战，尤其是在跨多个代码库和异构代理的工作流程中。
- 本文提出了一种预部署管道，专注于扫描、加固和验证代理应用，以识别泄露模式并生成补丁。
- 实验表明，该管道在多个真实应用中成功消除了数据泄露，且在压力条件下显著减少了泄露风险。
📝 摘要（中文）
代理系统结合了大型语言模型驱动的规划与外部工具接口，使得数据泄露和工具误用成为可能。为了解决这一挑战，本文提出了一种预部署管道，用于扫描、加固和验证代理应用。该管道分析提示模板、工具接口和工具调用代码，以识别可能导致泄露的模式并生成可操作的补丁。经过加固的应用通过对抗性提示注入攻击和良性输入变体进行验证，确保缓解措施不会干扰预期行为。实验结果表明，该管道在五个真实世界的代理应用中有效识别了泄露模式，并生成了可集成的补丁，最终实现了100%的泄露消除率和91%的泄露减少率。
🔬 方法详解
问题定义：本文旨在解决多代理应用中的数据泄露和工具误用问题，现有方法在跨代码库和异构代理的工作流程中难以一致地实施必要的控制措施。
核心思路：提出的预部署管道通过分析提示模板、工具接口和调用代码，识别泄露模式并生成补丁，确保在不干扰应用预期行为的情况下进行加固。
技术框架：该管道分为两个主要阶段：加固阶段和验证阶段。在加固阶段，优先处理高风险工具，应用最小侵入性的缓解措施；在验证阶段，自动生成攻击输入以确认加固后的功能保持。
关键创新：最重要的创新在于通过系统化的扫描和加固流程，自动识别和修复泄露模式，而不是依赖于持续的运行时政策执行。
关键设计：在加固阶段，采用了模式识别、边界清理、工具白名单和最小权限检查等技术细节，以确保应用的安全性和功能性。实验中生成的攻击输入模拟了越狱和指令覆盖等攻击方式。
🖼️ 关键图片
📊 实验亮点
实验结果显示，提出的管道在五个真实世界的代理应用中成功识别并修复了泄露模式，实现了100%的泄露消除率，并在压力条件下减少了91%的泄露风险，展现出显著的安全性提升。
🎯 应用场景
该研究的潜在应用领域包括智能助手、自动化工具和多代理系统等，能够显著提升这些系统的安全性和可靠性。通过有效预防数据泄露，增强用户信任，推动智能应用的广泛采用。
📄 摘要（原文）
Agentic systems integrate LLM driven planning with interfaces to external tools, making data leakage and tool misuse feasible via instruction/data boundary failures and prompt injection attacks. Enforcing required controls consistently is particularly challenging in workflows spanning many codebases and heterogeneous agents. To address this challenge in multi agentic systems, we present a pre-deployment pipeline for scanning, hardening, and validation of agentic applications. The pipeline analyzes prompt templates, tool interfaces, and tool-invocation code to identify leakage-enabling patterns and generate actionable patches. The hardened application is then validated through adversarial prompt injection attacks and benign input variations ensuring that mitigations do not disrupt intended behavior. In the hardening stage, high-risk tools are prioritized, and minimally invasive mitigations are applied, including schema tightening, boundary sanitization, allowlist-based tool gating, and least-privilege checks. In the validation stage, the pipeline automatically generates attack inputs that mimic jailbreaks, instruction overrides, and tool-targeted manipulation, along with benign task variants, to confirm that the functionality of the hardened application is preserved after remediation. We evaluated the pipeline on five real-world agentic applications, as well as on the AgentDojo benchmark. Across all applications, the proposed pipeline identified recurring leakage-enabling patterns and generated patches that can be integrated without disrupting the intended application behavior. The resulting modifications of application code were shown to eliminate leaks when targeted by basic jailbreak and instruction-override attacks, achieving a 100% reduction in leakage, and reduce leaks by 91% under conditions of stress-induced manipulation, without the need of continuous runtime policy enforcement.