CAPSafe: A Benchmark for Contextual Action and Plan Safety Reasoning in Embodied Agents
作者: Youmna Farag, Svetlana Stoyanchev, Simon Keizer, Mohan Li, Rama Doddipatla
分类: cs.RO, cs.CL
发布日期: 2026-10-20
期刊: REALM 2026
💡 一句话要点
提出CAPSafe基准以解决嵌入式智能体的安全推理问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 安全推理 嵌入式智能体 长远规划 上下文理解 多重危险
📋 核心要点
- 现有方法在安全推理方面存在显著不足，尤其是在复杂环境中进行长远规划时的安全性评估。
- CAPSafe基准通过构建行动级和计划级数据集，提供了针对环境上下文的安全推理评估框架。
- 实验结果表明，尽管部分模型在危险识别上表现良好，但在安全长远规划上仍面临挑战，最高成功率仅为78.19%。
📝 摘要（中文）
安全推理对于由大型语言模型驱动的嵌入式智能体至关重要。本文介绍了上下文行动与计划安全基准（CAPSafe），旨在评估安全推理的两个层面：一是测试单个行动在环境上下文中是否安全的行动级数据集，二是评估智能体能否为复杂的危险家庭任务生成安全的长远计划的计划级数据集。CAPSafe模型考虑了情境性危险（从物体属性推断）、多重危险共存的情况，并为每种危险标注了相对严重性等级以进行细致分析。对九个闭源和开源大型语言模型的评估显示，危险识别与安全长远规划之间存在显著差距。尽管一些模型在识别不安全行动方面的准确率超过90%，但安全长远规划仍然相对困难。Gemini-3-pro的安全成功率最高（78.19%），而其他模型均低于65%。这些结果突显了长行动序列的稳健安全推理仍然是一个未解决的挑战。
🔬 方法详解
问题定义：本文旨在解决嵌入式智能体在复杂环境中进行安全推理的问题，现有方法在长远规划的安全性评估上存在明显不足，尤其是在多重危险共存的情况下。
核心思路：CAPSafe基准通过构建两个层面的数据集（行动级和计划级），使得智能体能够在特定环境上下文中进行安全性评估，进而提升其长远规划能力。
技术框架：整体架构包括两个主要模块：行动级数据集用于单个行动的安全性测试，计划级数据集用于复杂任务的长远安全规划。每个数据集都包含对危险的详细标注和严重性等级。
关键创新：CAPSafe在安全推理中引入了情境性危险的概念，并通过多重危险共存的标注方式，提供了更为细致的安全性分析，这与现有方法的单一危险评估形成了鲜明对比。
关键设计：在数据集构建中，采用了对物体属性的深入分析，并为每种危险设定了相对严重性等级，以便于智能体在推理时进行更为精细的判断。
🖼️ 关键图片
📊 实验亮点
实验结果显示，尽管多个模型在危险识别上表现出色，最高准确率超过90%，但在安全长远规划方面仍存在显著差距，最高成功率仅为78.19%。这些结果强调了长行动序列安全推理的挑战性。
🎯 应用场景
该研究的潜在应用领域包括家庭机器人、自动驾驶汽车和其他需要安全决策的嵌入式智能体。通过提升智能体的安全推理能力，可以有效降低在复杂环境中执行任务时的风险，具有重要的实际价值和未来影响。
📄 摘要（原文）
Reasoning about safety is essential for embodied agents powered by large language models (LLMs). We introduce the Contextual Action and Plan Safety benchmark (CAPSafe), designed to evaluate safety reasoning at two levels: (1) an action-level dataset that tests whether a single action is safe given its environmental context, and (2) a plan-level dataset that evaluates whether agents can generate safe long-horizon plans for complex hazardous household tasks. CAPSafe models safety conditions where hazards are situational (inferred from object properties), multiple hazards can co-occur within the same environment, and each is annotated with a relative severity level for fine-grained analysis. Evaluating nine closed and open-source LLMs reveals a substantial gap between hazard recognition and safe long-horizon planning. Several models achieve high accuracy in recognizing unsafe actions (exceeding 90% in the best cases), yet safe long-horizon planning remains substantially harder. Gemini-3-pro achieves the highest safe success rate (78.19%), while other models remain below 65%. These results highlight that robust safety reasoning over long action sequences remains an open challenge.