SafeRun: Enabling Determinism in LLM Planning for Running
作者: Meilin Chen, Zepeng Zhai, Jiaxuan Zhao, Yuan Lu
分类: cs.CL, cs.AI
发布日期: 2026-06-08
备注: Workshop on Planning in the Era of LLMs (LM4Plan) at ICML 2026
🔗 代码/项目: HUGGINGFACE
💡 一句话要点
提出SafeRun以解决大型语言模型在规划中的确定性问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 确定性规划 安全约束 解耦架构 自动驾驶 机器人导航 实验基准 自然语言处理
📋 核心要点
- 现有大型语言模型在规划任务中缺乏确定性，尤其在安全性要求高的场景中，可能导致严重的安全隐患。
- SafeRun框架通过将软解释与硬约束执行解耦，确保在保持自然语言灵活性的同时，严格遵循安全约束。
- 实验结果显示，SafeRun在安全评分上达到100%，显著高于其他基线方法，同时保持了良好的指令跟随性能。
📝 摘要（中文）
大型语言模型（LLM）在自然语言规划中展现出灵活性，但由于其概率特性，在确定性要求高的领域表现不可靠，尤其是在运行规划中，违反安全规则可能导致安全风险。为此，本文提出了SafeRun框架，通过解耦架构实现基于LLM的确定性规划。SafeRun将LLM的软解释与确定性求解器的硬约束执行分离，确保严格的安全约束，同时保留自然语言的灵活性。通过在现实生理和安全约束下构建全面的基准，实验结果表明，SafeRun在五个LLM上实现了100%的安全评分，而PE平均为79.1%，CodeAct平均为97.6%，同时保持了竞争力的指令跟随评分。SafeRun基准数据集已公开发布。
🔬 方法详解
问题定义：本文旨在解决大型语言模型在运行规划中缺乏确定性的问题。现有方法由于其概率特性，无法在安全性要求高的场景中可靠运行，可能导致安全风险。
核心思路：SafeRun框架的核心思路是通过解耦LLM的软解释与确定性求解器的硬约束执行，确保在执行规划时既能满足安全约束，又能保持自然语言的灵活性。
技术框架：SafeRun的整体架构包括两个主要模块：一个是负责生成规划的LLM，另一个是负责执行硬约束的确定性求解器。LLM生成的规划会被传递给求解器进行约束验证和执行。
关键创新：SafeRun的关键创新在于其解耦架构设计，使得LLM的灵活性与确定性求解的严格性得以结合。这一设计与现有方法相比，能够有效避免安全隐患。
关键设计：在关键设计方面，SafeRun采用了特定的损失函数来平衡安全约束与指令跟随性能，同时在网络结构上进行了优化，以提高求解器的效率和准确性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，SafeRun在五个大型语言模型上实现了100%的安全评分，相较于79.1%的PE平均和97.6%的CodeAct平均，表现出显著的提升。同时，SafeRun在指令跟随性能上也保持了竞争力，展示了其在安全性与灵活性之间的良好平衡。
🎯 应用场景
SafeRun框架的潜在应用场景包括自动驾驶、机器人导航及其他需要高安全性和确定性的规划任务。通过确保安全约束的执行，SafeRun能够在这些领域中提供更可靠的决策支持，降低安全风险，提升系统的整体安全性和有效性。
📄 摘要（原文）
Large Language Models enable flexible natural-language planning but remain unreliable in determinism-critical domains due to their probabilistic nature. This limitation is especially problematic in running planning, where violating safety rules can lead to safety risks. We propose SafeRun, a framework for deterministic LLM-based planning via a decoupled architecture. SafeRun separates soft interpretation by an LLM from hard constraint enforcement by a deterministic solver, ensuring strict safety constraints while preserving natural-language flexibility. To validate SafeRun, we build a comprehensive benchmark for running planning under realistic physiological and safety constraints. Experiments across five LLMs show that SafeRun achieves 100\% safety score (vs.\ 79.1\% PE average and 97.6\% CodeAct average) while maintaining competitive instruction-following scores. The SafeRun benchmark is publicly available at \href{https://huggingface.co/datasets/zzp-seeker/SafeRun-RunPlanning-Benchmark}{huggingface}.