SafeStage: Evaluating Safety Before, During, and After Vision-Language-Conditioned Robot Manipulation
作者: Jinzhu Luo, Qi Zhang, Wei Wang, Wei Jiang
分类: cs.RO
发布日期: 2026-09-18
💡 一句话要点
提出SafeStage以评估视觉语言条件下机器人操作的安全性
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 机器人操作 安全评估 视觉语言 闭环控制 风险分析
📋 核心要点
- 现有的机器人操作评估方法往往忽视了安全性在闭环操作中的重要性，导致对安全失效的理解不足。
- 本文提出SafeStage基准，系统性地评估机器人操作的安全性，涵盖任务执行的各个阶段，提供全面的风险分析。
- 实验结果表明，任务成功与安全违规并存，且不同策略在安全性表现上存在显著差异，强调了评估的必要性。
📝 摘要（中文）
视觉语言条件下的机器人策略整合了感知、语言理解和控制，然而现有评估方法多集中于任务成功、孤立的物理约束、语义拒绝或实际物理损害，未能深入分析闭环操作中安全性失效的具体环节。为此，本文提出了SafeStage，一个生命周期结构的基准，用于评估操作的安全性，涵盖任务执行前、中、后。SafeStage包含97个专门设计的风险场景，分为三个阶段：初始状态危害、执行时安全性和最终状态危害。该基准通过事件和状态检查评估实际交互，并独立报告任务成功与阶段特定的安全结果。我们的评估显示，任务完成与安全违规常常并存，不同策略在三个阶段表现出不同的失败特征。通过将任务成功与安全性分开并定位违规发生的时机，SafeStage为评估和改进视觉语言条件下的机器人操作策略提供了统一的诊断测试平台。
🔬 方法详解
问题定义：本文旨在解决现有视觉语言条件下机器人操作评估方法对安全性关注不足的问题。现有方法多集中于任务成功，未能有效识别和分析安全失效的具体环节。
核心思路：SafeStage通过生命周期结构的基准评估机器人操作的安全性，分为任务执行前、执行中和执行后三个阶段，全面分析潜在风险。
技术框架：SafeStage的整体架构包括三个主要模块：初始状态危害、执行时安全性和最终状态危害。每个模块针对特定的安全风险进行评估，确保在任务的各个阶段都能识别潜在的安全问题。
关键创新：SafeStage的创新在于将任务成功与安全性评估分开，提供了一个统一的诊断平台，能够清晰地定位安全违规发生的时机，与现有方法相比，提供了更深入的安全分析。
关键设计：在设计中，SafeStage采用事件驱动和状态驱动的检查方法，确保对实际交互的全面评估，并独立报告任务成功与安全结果，增强了评估的准确性和可靠性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，尽管任务成功率较高，安全违规事件仍然频繁发生，尤其是在执行时安全性评估中，显示出不同策略在安全性表现上的显著差异。这一发现强调了在机器人操作中同时关注任务成功与安全性的必要性。
🎯 应用场景
该研究的潜在应用领域包括自动化制造、服务机器人和家庭机器人等，能够帮助开发更安全的机器人操作系统，减少事故发生的风险。未来，SafeStage可能成为机器人安全评估的标准工具，推动行业内的安全规范和技术进步。
📄 摘要（原文）
Vision-language-conditioned robot policies integrate perception, language understanding, and control for general-purpose manipulation. However, existing evaluations often focus on task success, isolated physical constraints, semantic refusal, or realized physical damage, providing limited insight into where safety fails during closed-loop manipulation. We introduce SafeStage, a lifecycle-structured benchmark for evaluating manipulation safety before, during, and after task execution. SafeStage contains 97 purpose-built risk scenarios organized into three stages. Initial-State Hazards captures safety-relevant relations that must be resolved before manipulating the target. Execution-Time Safety evaluates unsafe contacts, trajectories, region entries, and object interactions during execution. Final-State Hazards capture unstable or otherwise unsafe conditions remaining after nominal task completion. The benchmark evaluates realized interactions using event-based and state-based checks and reports native task success independently from stage-specific safety outcomes. We evaluate representative direct-action Vision-Language-Action (VLA) policies and policies with world-model-based policies under a common closed-loop protocol. Our results demonstrate that nominal task completion frequently coexists with safety violations and that different policies exhibit distinct failure profiles across the three stages. By separating task success from safety and localizing when violations occur, SafeStage provides a unified diagnostic testbed for evaluating and improving vision-language-conditioned robot manipulation policies.