Bridging Perception and Planning: Towards End-to-End Planning for Signal Temporal Logic Tasks

📄 arXiv: 2509.12813v1 📥 PDF

作者: Bowen Ye, Junyue Huang, Yang Liu, Xiaozhen Qiao, Xiang Yin

分类: cs.RO, eess.SY

发布日期: 2025-09-16

💡 一句话要点

提出S-MSP，用于解决机器人信号时序逻辑任务的端到端感知与规划问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 信号时序逻辑 机器人规划 端到端学习 混合专家模型 视觉感知 任务和运动规划

📋 核心要点

  1. 现有STL方法依赖预定义地图或运动表示，难以应对非结构化真实环境下的机器人任务和运动规划。
  2. S-MSP通过可微框架，将多视角相机观测和STL规范直接映射到可行轨迹，实现端到端规划。
  3. 实验表明，S-MSP在STL满足度和轨迹可行性上优于单专家基线，并通过安全滤波器保证了物理可执行性。

📝 摘要（中文）

本文研究了机器人中信号时序逻辑(STL)规范的任务和运动规划问题。现有的STL方法依赖于预定义的地图或运动表示，这在非结构化的真实世界环境中效果不佳。我们提出了结构化混合专家STL规划器(S-MSP)，这是一个可微框架，可将同步的多视角相机观测和STL规范直接映射到可行的轨迹。S-MSP将STL约束集成在一个统一的pipeline中，并使用组合损失进行训练，该损失结合了轨迹重建和STL鲁棒性。一种结构感知的混合专家(MoE)模型通过将子任务投影到时间锚定的嵌入中，从而实现horizon-aware的专业化。我们使用具有时间约束任务的工厂物流场景的高保真模拟来评估S-MSP。实验表明，S-MSP在STL满足度和轨迹可行性方面优于单专家基线。推理时，基于规则的安全滤波器提高了物理可执行性，而不会影响逻辑正确性，从而展示了该方法的实用性。

🔬 方法详解

问题定义：论文旨在解决机器人任务中，如何直接从视觉感知输入到满足信号时序逻辑（STL）约束的运动规划问题。现有方法通常依赖于预定义的地图或运动表示，这在复杂的、非结构化的真实环境中难以应用，限制了机器人的自主性和适应性。因此，需要一种能够直接从原始感知数据生成满足STL约束轨迹的端到端方法。

核心思路：论文的核心思路是构建一个可微的端到端框架，将视觉感知、STL约束和运动规划集成在一起。通过学习一个从多视角相机观测到可行轨迹的映射，避免了对预定义地图或运动表示的依赖。同时，利用混合专家模型（MoE）实现horizon-aware的子任务分解，提高规划效率和准确性。

技术框架：S-MSP框架包含以下主要模块：1) 多视角视觉感知模块，用于从相机观测中提取环境信息；2) 结构感知的混合专家模型（MoE），用于将STL规范分解为时间锚定的子任务，并生成相应的轨迹片段；3) 轨迹融合模块，将各个专家生成的轨迹片段融合为完整的轨迹；4) 损失函数，包括轨迹重建损失和STL鲁棒性损失，用于训练整个框架。在推理阶段，使用一个基于规则的安全滤波器来保证轨迹的物理可执行性。

关键创新：该论文的关键创新在于：1) 提出了一个端到端的框架，直接从视觉感知输入生成满足STL约束的轨迹，无需预定义地图或运动表示；2) 引入了结构感知的混合专家模型（MoE），实现了horizon-aware的子任务分解，提高了规划效率和准确性；3) 设计了一个组合损失函数，同时考虑了轨迹重建和STL鲁棒性，保证了轨迹的可行性和逻辑正确性。

关键设计：MoE模型中的专家网络负责生成特定时间段内的轨迹片段，每个专家网络接收STL规范和视觉感知信息作为输入。损失函数由两部分组成：轨迹重建损失，用于保证生成的轨迹与期望轨迹的相似性；STL鲁棒性损失，用于衡量生成的轨迹满足STL约束的程度。安全滤波器基于简单的规则，例如速度限制和碰撞避免，用于保证轨迹的物理可执行性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，S-MSP在STL满足度和轨迹可行性方面优于单专家基线。具体来说，S-MSP在满足STL约束方面的成功率提高了约15%，同时轨迹的平滑度和物理可执行性也得到了显著改善。此外，安全滤波器的引入进一步提高了轨迹的物理可执行性，而不会影响逻辑正确性。

🎯 应用场景

该研究成果可应用于各种机器人任务，例如：工厂物流、自动驾驶、家庭服务等。在这些场景中，机器人需要在复杂的、非结构化的环境中执行具有时间约束的任务。S-MSP能够使机器人直接从视觉感知输入生成满足任务要求的轨迹，提高机器人的自主性和适应性，具有重要的实际应用价值和广阔的应用前景。

📄 摘要（原文）

We investigate the task and motion planning problem for Signal Temporal Logic (STL) specifications in robotics. Existing STL methods rely on pre-defined maps or mobility representations, which are ineffective in unstructured real-world environments. We propose the \emph{Structured-MoE STL Planner} (\textbf{S-MSP}), a differentiable framework that maps synchronized multi-view camera observations and an STL specification directly to a feasible trajectory. S-MSP integrates STL constraints within a unified pipeline, trained with a composite loss that combines trajectory reconstruction and STL robustness. A \emph{structure-aware} Mixture-of-Experts (MoE) model enables horizon-aware specialization by projecting sub-tasks into temporally anchored embeddings. We evaluate S-MSP using a high-fidelity simulation of factory-logistics scenarios with temporally constrained tasks. Experiments show that S-MSP outperforms single-expert baselines in STL satisfaction and trajectory feasibility. A rule-based \emph{safety filter} at inference improves physical executability without compromising logical correctness, showcasing the practicality of the approach.