MobileSafetyBench: Evaluating Safety of Autonomous Agents in Mobile Device Control
作者: Juyong Lee, Dongyoon Hahm, June Suk Choi, W. Bradley Knox, Kimin Lee
分类: cs.LG, cs.CL
发布日期: 2024-10-23 (更新: 2024-12-10)
🔗 代码/项目: PROJECT_PAGE
💡 一句话要点
MobileSafetyBench：评估移动设备控制中自主Agent的安全性
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 移动设备控制 自主Agent 安全性评估 大型语言模型 Android模拟器
📋 核心要点
- 基于LLM的自主Agent在移动设备控制中潜力巨大，但缺乏针对其安全性的标准化评估基准。
- MobileSafetyBench通过模拟真实Android环境，提供多样化的任务集，评估Agent在各种安全风险下的行为。
- 实验表明现有Agent安全性不足，作者提出一种提示方法以提升安全性，但仍有改进空间。
📝 摘要（中文）
本文提出了MobileSafetyBench，一个用于评估基于大型语言模型（LLM）的自主Agent在移动设备控制中安全性的基准。该基准基于Android模拟器，模拟真实的移动环境，包含一系列与消息和银行应用等交互的任务，旨在评估Agent在滥用和负面影响等风险管理方面的能力。这些任务包括日常场景中的安全性测试，以及针对间接提示注入攻击的鲁棒性评估。实验表明，基于现有LLM的基线Agent在执行任务时常常无法有效避免危害。为了缓解这些安全问题，本文提出了一种提示方法，鼓励Agent优先考虑安全性。虽然该方法在促进更安全的行为方面显示出潜力，但仍有很大的改进空间，以充分赢得用户的信任。该研究强调了在移动环境中开发更强大的安全机制的迫切需求。该基准已开源。
🔬 方法详解
问题定义：论文旨在解决移动设备控制中，基于大型语言模型的自主Agent的安全性评估问题。现有方法缺乏针对移动设备控制场景的标准化安全基准，无法有效评估Agent在处理个人信息、设备设置以及应对潜在恶意攻击时的安全性。这使得部署此类Agent面临较高的安全风险，例如信息泄露、误操作导致损失等。
核心思路：论文的核心思路是构建一个真实且全面的移动设备控制环境，并设计一系列具有挑战性的任务，以评估Agent在各种安全场景下的表现。通过观察Agent在这些任务中的行为，可以识别其潜在的安全漏洞和风险，从而为改进Agent的安全机制提供依据。同时，论文还探索了通过改进提示工程来提升Agent安全性的方法。
技术框架：MobileSafetyBench基于Android模拟器，模拟真实的移动设备环境。该基准包含一系列预定义的任务，这些任务涉及与各种移动应用程序的交互，例如消息应用、银行应用等。每个任务都旨在测试Agent在特定安全场景下的行为，例如防止信息泄露、避免误操作、抵御提示注入攻击等。Agent通过与模拟环境交互来完成任务，并记录其行为。
关键创新：该论文的关键创新在于构建了一个专门针对移动设备控制场景的安全基准MobileSafetyBench。该基准考虑了移动设备环境的特殊性，例如个人信息的敏感性、设备设置的复杂性等，并设计了相应的安全评估任务。此外，论文还探索了一种基于提示工程的安全增强方法，为提升Agent的安全性提供了新的思路。
关键设计：MobileSafetyBench的任务设计涵盖了日常使用场景和潜在的攻击场景，例如：1)日常场景：模拟用户日常使用手机的行为，例如发送消息、查询余额等，评估Agent在这些场景下的安全性。2)提示注入攻击：设计间接提示注入攻击，评估Agent在面对恶意输入时的鲁棒性。论文还设计了一种安全提示方法，通过在提示中加入安全相关的指令，引导Agent优先考虑安全性。具体来说，该方法在提示中明确要求Agent在执行任务前进行安全风险评估，并采取相应的安全措施。
🖼️ 关键图片
📊 实验亮点
实验结果表明，基于现有LLM的基线Agent在MobileSafetyBench上表现不佳，常常无法有效避免危害。例如，在某些任务中，Agent可能会泄露用户的个人信息，或者执行不安全的操作。通过引入安全提示方法，Agent的安全性得到了一定的提升，但仍有很大的改进空间。这表明，在移动设备控制领域，Agent的安全性仍然是一个亟待解决的问题。
🎯 应用场景
MobileSafetyBench的研究成果可应用于开发更安全的移动设备控制Agent，例如智能助手、自动化测试工具等。通过使用该基准评估和改进Agent的安全性，可以降低Agent在实际应用中造成安全风险的可能性，保护用户的个人信息和设备安全。此外，该研究还可以促进移动安全领域的研究，推动开发更有效的安全机制和防御策略。
📄 摘要（原文）
Autonomous agents powered by large language models (LLMs) show promising potential in assistive tasks across various domains, including mobile device control. As these agents interact directly with personal information and device settings, ensuring their safe and reliable behavior is crucial to prevent undesirable outcomes. However, no benchmark exists for standardized evaluation of the safety of mobile device-control agents. In this work, we introduce MobileSafetyBench, a benchmark designed to evaluate the safety of device-control agents within a realistic mobile environment based on Android emulators. We develop a diverse set of tasks involving interactions with various mobile applications, including messaging and banking applications, challenging agents with managing risks encompassing misuse and negative side effects. These tasks include tests to evaluate the safety of agents in daily scenarios as well as their robustness against indirect prompt injection attacks. Our experiments demonstrate that baseline agents, based on state-of-the-art LLMs, often fail to effectively prevent harm while performing the tasks. To mitigate these safety concerns, we propose a prompting method that encourages agents to prioritize safety considerations. While this method shows promise in promoting safer behaviors, there is still considerable room for improvement to fully earn user trust. This highlights the urgent need for continued research to develop more robust safety mechanisms in mobile environments. We open-source our benchmark at: https://mobilesafetybench.github.io/.