Risk-Aware Semantic Grounding for Trustworthy LLM-Based Robot Planning

📄 arXiv: 2609.37554v1 📥 PDF

作者: Łukasz Sobczak, Nur Keleşoğlu, Sławomir Piotr Nowak

分类: cs.RO, cs.AI

发布日期: 2026-09-29

💡 一句话要点

提出风险感知语义基础框架以解决LLM机器人规划的信任问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 机器人规划 风险感知 语义基础 模糊性检测 决策支持 自主导航

📋 核心要点

  1. 现有的LLM规划方法在面对模糊或不一致的指令时，容易产生不可靠的输出，导致机器人规划的信任问题。
  2. 本文提出了一种风险感知语义基础框架，通过多维风险估计来建模语义基础的可靠性，从而提高指令执行的决策能力。
  3. 实验结果显示，所提出的方法在模糊性检测和语义冲突拒绝方面显著优于传统的LLM规划器，提升了机器人规划的可信度。

📝 摘要（中文）

大型语言模型（LLMs）在机器人导航中的高层规划中越来越多地被使用，但当指令模糊、环境不支持或语义不一致时，其输出可能变得不可靠。本文提出了一种风险感知语义基础框架，以实现可信赖的LLM机器人规划。与现有的LLM规划器主要优化计划生成不同，我们将语义基础可靠性定义为一个多维风险估计问题。所提出的架构在规划发生之前显式建模基础不确定性，包括模糊性、幻觉和语义冲突风险，使系统能够决定是执行指令、请求澄清还是拒绝执行。我们引入了TRUST-NAV基准，包含标准导航任务和风险诱导指令场景，以评估该方法。实验结果表明，尽管传统的LLM规划器在有效导航任务上表现良好，但所提出的框架在模糊性检测和语义冲突拒绝方面显著改善。

🔬 方法详解

问题定义：本文旨在解决大型语言模型在机器人规划中因指令模糊、环境不支持或语义不一致而导致的输出不可靠问题。现有方法主要关注计划生成，忽视了语义基础的可靠性。

核心思路：论文提出了一种风险感知语义基础框架，通过将语义基础可靠性视为多维风险估计问题，显式建模模糊性、幻觉和语义冲突等风险，从而在规划前做出更为合理的决策。

技术框架：整体架构包括风险评估模块和决策模块。风险评估模块负责识别和量化指令中的模糊性和潜在冲突，决策模块则根据评估结果决定是否执行指令、请求澄清或拒绝执行。

关键创新：最重要的创新在于将语义基础的可靠性转化为多维风险估计问题，允许系统在规划前评估指令的可行性，这一思路与传统的单一优化目标方法有本质区别。

关键设计：在技术细节上，采用了特定的损失函数来量化不同风险的影响，并设计了适应性网络结构以处理多种风险因素的输入，确保系统能够灵活应对复杂的指令场景。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，传统的LLM规划器在有效导航任务上表现良好，但所提出的风险感知框架在模糊性检测和语义冲突拒绝方面的性能提升显著，具体提高了模糊性检测率和冲突拒绝率，增强了机器人规划的可信度。

🎯 应用场景

该研究的潜在应用领域包括自主机器人导航、智能家居系统和人机交互等场景。通过提高机器人对指令的理解和执行能力，能够显著提升其在复杂环境中的操作安全性和效率，具有重要的实际价值和未来影响。

📄 摘要（原文）

Large language models (LLMs) are increasingly used as high-level planners in robot navigation, but their outputs may become unreliable when instructions are ambiguous, unsupported by the environment, or semantically inconsistent. This paper presents a Risk-Aware Semantic Grounding framework for trustworthy LLM-based robot planning. Unlike existing LLM-based planners that primarily optimize plan generation, we formulate semantic grounding reliability as a multi-dimensional risk estimation problem. The proposed architecture explicitly models grounding uncertainty through ambiguity, hallucination and semantic-conflict risks before planning occurs, enabling the system to decide whether to execute the instruction, request clarification, or reject it. To evaluate the approach, we introduce TRUST-NAV, a benchmark containing both standard navigation tasks and risk-inducing instruction scenarios. Experimental results show that while conventional LLM planners achieve strong performance on valid navigation tasks, the proposed framework substantially improves ambiguity detection and semantic conflict rejection. These findings suggest that trustworthy robot planning should be evaluated not only by task completion, but also by the ability to recognize when execution should not occur.