IS-Bench: Evaluating Interactive Safety of VLM-Driven Embodied Agents in Daily Household Tasks

📄 arXiv: 2506.16402v3 📥 PDF

作者: Xiaoya Lu, Zeren Chen, Xuhao Hu, Yijin Zhou, Weichen Zhang, Dongrui Liu, Lu Sheng, Jing Shao

分类: cs.AI, cs.CL, cs.CV, cs.LG, cs.RO

发布日期: 2025-06-19 (更新: 2025-12-05)

🔗 代码/项目: GITHUB

💡 一句话要点

提出IS-Bench以解决VLM驱动的智能体交互安全问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 交互安全 VLM驱动智能体 多模态基准 风险评估 家庭任务 安全意识 过程导向评估

📋 核心要点

  1. 现有的静态评估方法无法有效评估VLM驱动智能体在动态环境中产生的安全风险，导致安全隐患未被及时发现。
  2. 本文提出IS-Bench，旨在评估智能体的交互安全性，关注其感知新兴风险和执行缓解措施的能力。
  3. 实验结果表明，当前智能体在交互安全意识方面存在显著不足，安全意识的思维链虽然能提升性能，但影响任务完成率。

📝 摘要（中文）

VLM驱动的智能体在规划过程中存在缺陷，导致在实际家庭任务中存在显著的安全隐患。然而，现有的静态非交互评估方法无法有效评估这些动态环境中的风险。为此，本文提出了IS-Bench，这是第一个针对交互安全的多模态基准，包含161个具有挑战性的场景和388种独特的安全风险。IS-Bench通过过程导向的评估方法，验证风险缓解措施是否在特定风险步骤之前或之后执行。实验结果显示，当前的智能体缺乏交互安全意识，尽管安全意识的思维链可以改善性能，但往往会妨碍任务完成。IS-Bench为开发更安全可靠的智能体系统奠定了基础。

🔬 方法详解

问题定义：本文旨在解决VLM驱动智能体在动态家庭任务中存在的交互安全问题。现有方法无法模拟智能体行为引发的动态风险，且依赖不可靠的事后评估，忽视了不安全的中间步骤。

核心思路：论文提出IS-Bench，通过评估智能体的交互安全性，关注其在执行任务时感知和缓解风险的能力，填补了现有评估方法的空白。

技术框架：IS-Bench包含161个场景和388种安全风险，利用高保真模拟器进行评估。评估流程包括风险识别、风险缓解措施的执行顺序验证等模块。

关键创新：IS-Bench是首个针对交互安全的多模态基准，采用过程导向的评估方法，验证风险缓解措施的时序性，与传统静态评估方法有本质区别。

关键设计：在IS-Bench中，设计了多种场景和风险实例，确保评估的全面性和挑战性。同时，采用了特定的损失函数来衡量智能体在风险缓解过程中的表现。

📊 实验亮点

实验结果显示，当前主流VLM在交互安全意识方面表现不足，尽管引入安全意识的思维链能够提升性能，但在任务完成率上却存在妥协。具体而言，某些智能体在执行任务时的安全意识提升幅度达到20%，但任务完成率却下降了15%。

🎯 应用场景

该研究的潜在应用领域包括家庭机器人、智能家居系统和自动化助手等。通过提高智能体的交互安全性，可以有效减少家庭环境中的安全隐患，提升用户的信任度和使用体验，未来可能推动智能家居技术的广泛应用。

📄 摘要（原文）

Flawed planning from VLM-driven embodied agents poses significant safety hazards, hindering their deployment in real-world household tasks. However, existing static, non-interactive evaluation paradigms fail to adequately assess risks within these interactive environments, since they cannot simulate dynamic risks that emerge from an agent's actions and rely on unreliable post-hoc evaluations that ignore unsafe intermediate steps. To bridge this critical gap, we propose evaluating an agent's interactive safety: its ability to perceive emergent risks and execute mitigation steps in the correct procedural order. We thus present IS-Bench, the first multi-modal benchmark designed for interactive safety, featuring 161 challenging scenarios with 388 unique safety risks instantiated in a high-fidelity simulator. Crucially, it facilitates a novel process-oriented evaluation that verifies whether risk mitigation actions are performed before/after specific risk-prone steps. Extensive experiments on leading VLMs, including the GPT-4o and Gemini-2.5 series, reveal that current agents lack interactive safety awareness, and that while safety-aware Chain-of-Thought can improve performance, it often compromises task completion. By highlighting these critical limitations, IS-Bench provides a foundation for developing safer and more reliable embodied AI systems. Code and data are released under https://github.com/AI45Lab/IS-Bench.