DUMA-Bench: A Dual-Control Multi-Agent Benchmark for Evaluating LLM Agent Security

📄 arXiv: 2609.24662v1 📥 PDF

作者: Ivan Aleksandrov, German Kochnev, Sabrina Sadiekh, Yaroslav Rogoza

分类: cs.AI

发布日期: 2026-09-21

备注: ACL ARR 2026 March Findings

💡 一句话要点

提出DUMA-Bench以评估LLM代理的安全性问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: 大语言模型 代理安全 双重控制 安全评估 脆弱性分析 用户交互 模型评估

📋 核心要点

  1. 现有的安全评估方法假设用户是被动的，忽视了动态交互对代理行为的影响，导致安全性评估不够全面。
  2. DUMA-Bench提出了一种双重控制交互的评估协议，允许代理和用户共同影响环境状态，从而更真实地模拟实际应用场景。
  3. 实验结果表明，采用双重控制交互后，攻击成功率从26.9%提升至41.1%，显示出交互对安全性的显著影响。

📝 摘要（中文）

随着基于大语言模型（LLM）的代理在与用户、工具和外部系统交互的环境中越来越多地运作，现有的安全评估大多假设用户是被动的，控制是静态的，忽视了塑造真实代理行为的互动动态。本文提出了DUMA-Bench，一个用于测量代理在双重控制交互下安全性的基准和评估协议。DUMA-Bench扩展了τ²-bench，涵盖了八种脆弱性类别，包括RAG中毒、跨代理操控和不安全输出处理。我们对来自五个模型家族的14个模型进行了评估，结果显示引入双重控制交互使攻击成功率从26.9%提高到41.1%。这些结果表明，代理的安全性不仅是模型的属性，而是模型、用户和环境之间互动的结果。

🔬 方法详解

问题定义：本文旨在解决现有安全评估方法未能考虑用户与代理之间动态交互的问题，导致评估结果不够真实和有效。

核心思路：DUMA-Bench通过引入双重控制交互的概念，使得代理和用户都能影响环境状态，从而更全面地评估代理的安全性。

技术框架：DUMA-Bench的整体架构包括环境设置、交互模型和评估指标。环境设置涵盖了八种脆弱性类别，交互模型模拟用户行为，评估指标则用于量化安全性。

关键创新：DUMA-Bench的核心创新在于引入双重控制交互的评估方式，这与传统的静态评估方法有本质区别，能够更真实地反映代理在实际应用中的安全性。

关键设计：在设计中，DUMA-Bench使用了多种攻击场景和用户行为模式，设置了相应的评估指标，以确保评估的全面性和准确性。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

在实验中，DUMA-Bench对14个来自五个模型家族的模型进行了评估，结果显示引入双重控制交互后，攻击成功率显著提高，从26.9%上升至41.1%。这一发现强调了用户与代理之间互动在安全性评估中的重要性。

🎯 应用场景

DUMA-Bench的研究成果可广泛应用于智能代理系统的安全性评估，尤其是在金融、医疗和自动驾驶等对安全性要求极高的领域。通过提供更真实的评估框架，DUMA-Bench能够帮助开发者识别和修复潜在的安全漏洞，从而提升系统的可靠性和用户信任。

📄 摘要（原文）

LLM-based agents increasingly operate in environments where they interact with users, tools, and external systems. Yet most security evaluations assume passive users and static control, ignoring the interactive dynamics that shape real agent behavior. We introduce \textbf{DUMA-Bench}, a benchmark and evaluation protocol for measuring agent security under \emph{dual-control} interaction, where both the agent and the user can influence the shared environment state. DUMA-Bench extends $τ^2$-bench ~\cite{barres2025tau} with adversarial environments covering eight vulnerability classes, including RAG poisoning, cross-agent manipulation, and unsafe output handling. We evaluate \textbf{14 models from five model families} (OpenAI, Anthropic, DeepSeek, Qwen, and Z.ai) across eight domains and multiple user-behavior regimes. Across our experiments, introducing dual-control interaction increases the attack success rate from \textbf{26.9\%} to \textbf{41.1\%}. These results show that agent security is not solely a property of the model but emerges from the interaction between the model, the user, and the environment. DUMA-Bench provides a missing evaluation layer for studying security in realistic agent deployments.