Pre-Execution Safety Gate & Task Safety Contracts for LLM-Controlled Robot Systems

📄 arXiv: 2604.05427v1 📥 PDF

作者: Ike Obi, Vishnunandan L. N. Venkatesh, Weizheng Wang, Ruiqi Wang, Dayoon Suh, Temitope I. Amosa, Wonse Jo, Byung-Cheol Min

分类: cs.RO

发布日期: 2026-04-07

💡 一句话要点

SafeGate：面向LLM控制机器人系统的预执行安全门与任务安全契约

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: LLM控制 机器人安全 神经符号方法 预执行验证 任务安全契约

📋 核心要点

  1. 现有LLM控制的机器人系统缺乏指令验证，无法有效识别和阻止不安全或有缺陷的指令。
  2. SafeGate通过神经符号方法，在指令执行前进行安全属性提取和确定性决策，防止不安全指令进入执行阶段。
  3. 实验表明，SafeGate能显著降低不安全指令的接受率，同时保持对安全指令的高接受率，提升了机器人系统的安全性。

📝 摘要（中文）

大型语言模型（LLMs）越来越多地被用于将任务指令转换为机器人可执行代码，然而，这种流程缺乏验证机制，无法在指令转化为机器人代码之前检测不安全和有缺陷的指令。此外，即使是最初看起来安全的指令，在缺乏持续约束监控的情况下，也可能在执行过程中产生不安全的状态转换。本研究提出了SafeGate，一种神经符号安全架构，可防止不安全的自然语言任务指令到达机器人执行端。SafeGate借鉴ISO 13482安全标准，从自然语言指令中提取结构化的安全相关属性，并应用确定性的决策门来授权或拒绝执行。此外，我们引入了任务安全契约，将通过安全门的指令分解为不变量、守卫条件和中止条件，以防止执行期间的不安全状态转换。我们进一步结合Z3 SMT求解器来强制执行从任务安全契约中导出的约束检查。我们针对230个基准任务、30个AI2-THOR模拟场景和真实机器人实验，评估了SafeGate与现有基于LLM的机器人安全框架和基线LLM的性能。结果表明，SafeGate显著减少了对缺陷指令的接受，同时保持了对良性任务的高接受率，证明了预执行安全门对于LLM控制的机器人系统的重要性。

🔬 方法详解

问题定义：论文旨在解决LLM控制的机器人系统中，由于缺乏指令验证机制而导致的安全问题。现有方法无法有效识别和阻止不安全或有缺陷的自然语言指令，使得机器人可能执行导致危险或错误的动作。即使初始指令看似安全，执行过程中也可能因为状态转换而产生安全隐患。

核心思路：论文的核心思路是在指令执行前设置一道“安全门”（SafeGate），对自然语言指令进行安全属性分析和验证，只有通过验证的指令才能被执行。此外，引入“任务安全契约”的概念，将指令分解为不变量、守卫条件和中止条件，并在执行过程中持续监控，防止不安全状态的发生。

技术框架：SafeGate架构包含以下主要模块：1) 自然语言指令解析模块，用于提取指令中的安全相关属性；2) 决策门模块，基于提取的属性，根据预定义的安全规则进行决策，判断指令是否安全；3) 任务安全契约模块，将通过安全门的指令分解为不变量、守卫条件和中止条件；4) 约束检查模块，使用Z3 SMT求解器对任务安全契约进行约束检查，确保执行过程中的安全性。

关键创新：论文的关键创新在于提出了一个神经符号安全架构，将神经方法（用于自然语言理解）和符号方法（用于安全规则定义和约束检查）相结合，实现了对LLM控制的机器人系统的预执行安全验证。与现有方法相比，SafeGate能够在指令执行前发现潜在的安全问题，从而避免了因执行不安全指令而造成的损失。

关键设计：SafeGate的关键设计包括：1) 安全属性提取规则的设计，需要根据具体的机器人应用场景和安全标准（如ISO 13482）进行定义；2) 决策门的阈值设置，需要在保证安全性的前提下，尽可能减少对良性任务的拒绝；3) 任务安全契约的分解策略，需要根据指令的语义和机器人的状态空间进行设计，确保能够覆盖所有可能的不安全状态。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，SafeGate在230个基准任务、30个AI2-THOR模拟场景和真实机器人实验中，显著降低了对缺陷指令的接受率，同时保持了对良性任务的高接受率。与现有基于LLM的机器人安全框架和基线LLM相比，SafeGate在安全性方面取得了显著提升，证明了预执行安全门对于LLM控制的机器人系统的重要性。

🎯 应用场景

该研究成果可应用于各种LLM控制的机器人系统，尤其是在需要高安全性的场景中，如医疗机器人、工业机器人和家庭服务机器人。通过SafeGate，可以有效防止机器人执行不安全指令，降低事故风险，提高系统的可靠性和安全性，从而加速LLM在机器人领域的应用。

📄 摘要（原文）

Large Language Models (LLMs) are increasingly used to convert task commands into robot-executable code, however this pipeline lacks validation gates to detect unsafe and defective commands before they are translated into robot code. Furthermore, even commands that appear safe at the outset can produce unsafe state transitions during execution in the absence of continuous constraint monitoring. In this research, we introduce SafeGate, a neurosymbolic safety architecture that prevents unsafe natural language task commands from reaching robot execution. Drawing from ISO 13482 safety standard, SafeGate extracts structured safety-relevant properties from natural language commands and applies a deterministic decision gate to authorize or reject execution. In addition, we introduce Task Safety Contracts, which decomposes commands that pass through the gate into invariants, guards, and abort conditions to prevent unsafe state transitions during execution. We further incorporate Z3 SMT solving to enforce constraint checking derived from the Task Safety Contracts. We evaluate SafeGate against existing LLM-based robot safety frameworks and baseline LLMs across 230 benchmark tasks, 30 AI2-THOR simulation scenarios, and real-world robot experiments. Results show that SafeGate significantly reduces the acceptance of defective commands while maintaining a high acceptance of benign tasks, demonstrating the importance of pre-execution safety gates for LLM-controlled robot systems