Real-Time Out-of-Distribution Failure Prevention via Multi-Modal Reasoning

📄 arXiv: 2505.10547v2 📥 PDF

作者: Milan Ganai, Rohan Sinha, Christopher Agia, Daniel Morton, Luigi Di Lillo, Marco Pavone

分类: cs.RO, cs.AI

发布日期: 2025-05-15 (更新: 2025-09-25)

备注: Conference on Robot Learning (CoRL) 2025 (Oral)

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

FORTRESS：基于多模态推理的实时OOD失效预防框架

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态推理 机器人安全 超出分布检测 运动规划 失效预防

📋 核心要点

  1. 现有方法难以有效利用通用知识进行实时、动态可行的响应，从而限制了机器人在OOD场景下的安全性。
  2. FORTRESS框架结合多模态基础模型进行推理和规划，生成语义上安全的后备策略，预防OOD失效。
  3. 实验表明，FORTRESS在安全分类精度和系统安全性方面优于现有方法，并在机器人导航任务中取得了成功。

📝 摘要（中文）

本文提出了一种名为FORTRESS的联合推理与规划框架，旨在生成语义上安全的后备策略，以预防安全关键的、超出分布(OOD)的失效情况，从而提高机器人在OOD场景下的安全性。在正常操作下，FORTRESS以较低的频率使用多模态基础模型来预测可能的失效模式并识别安全的后备集合。当运行时监控器触发后备响应时，FORTRESS快速合成后备目标的规划，同时实时推断并避开语义上不安全的区域。通过桥接开放世界、多模态推理与动态感知规划，该方法消除了对硬编码后备方案和人工安全干预的需求。在合成基准测试和真实世界的ANYmal机器人数据上，FORTRESS在安全分类精度方面优于对慢速推理模型进行即时提示的方法，并在城市导航的模拟和四旋翼硬件上进一步提高了系统安全性和规划成功率。

🔬 方法详解

问题定义：论文旨在解决机器人在超出分布（Out-of-Distribution, OOD）场景下的安全问题。现有方法通常依赖于硬编码的后备方案或人工干预，缺乏通用性和实时性。直接使用大型模型进行推理速度慢，难以满足实时性要求。因此，如何在OOD场景下，利用通用知识，快速生成安全可行的后备策略是关键挑战。

核心思路：FORTRESS的核心思路是将多模态基础模型的通用知识与动态感知规划相结合。首先，利用多模态模型预测可能的失效模式，并识别安全的后备集合。然后，在运行时，当检测到潜在的失效风险时，快速合成到达后备目标的规划，同时避开语义上不安全的区域。这种方法避免了硬编码规则的局限性，并实现了实时的安全响应。

技术框架：FORTRESS框架包含两个主要阶段：离线推理和在线规划。离线推理阶段，使用多模态基础模型（如视觉语言模型）分析环境信息，预测可能的失效模式，并生成安全的后备目标集合。在线规划阶段，当运行时监控器检测到潜在的失效风险时，快速调用运动规划器，生成到达后备目标的轨迹，同时利用语义信息避开不安全的区域。框架还包含一个运行时监控器，用于检测潜在的失效风险并触发后备响应。

关键创新：FORTRESS的关键创新在于将开放世界的、多模态推理与动态感知的运动规划相结合。传统方法通常依赖于预定义的规则或人工干预，而FORTRESS能够利用基础模型的通用知识，自动生成后备策略。此外，FORTRESS实现了实时的安全响应，克服了大型模型推理速度慢的缺点。

关键设计：FORTRESS使用多模态基础模型进行环境理解和失效预测。具体使用的模型类型和训练方式在论文中可能有所描述（未知）。运动规划器需要能够快速生成轨迹，并考虑动态约束和语义信息。运行时监控器的设计需要能够准确地检测潜在的失效风险，并及时触发后备响应。具体的参数设置、损失函数和网络结构等技术细节在论文中可能有所描述（未知）。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，FORTRESS在安全分类精度方面优于对慢速推理模型进行即时提示的方法。在合成基准测试和真实世界的ANYmal机器人数据上，FORTRESS表现出更高的安全分类精度。此外，在城市导航的模拟和四旋翼硬件实验中，FORTRESS显著提高了系统安全性和规划成功率。具体的性能数据和提升幅度在论文中可能有所描述（未知）。

🎯 应用场景

FORTRESS框架具有广泛的应用前景，可用于提高机器人在各种复杂环境下的安全性，例如自动驾驶、机器人导航、工业自动化等。通过利用多模态推理和动态规划，该框架能够使机器人在面对未知或突发情况时，做出安全可靠的决策，从而减少事故风险，提高工作效率。未来，该技术有望应用于更多领域，例如灾难救援、医疗辅助等。

📄 摘要（原文）

While foundation models offer promise toward improving robot safety in out-of-distribution (OOD) scenarios, how to effectively harness their generalist knowledge for real-time, dynamically feasible response remains a crucial problem. We present FORTRESS, a joint reasoning and planning framework that generates semantically safe fallback strategies to prevent safety-critical, OOD failures. At a low frequency under nominal operation, FORTRESS uses multi-modal foundation models to anticipate possible failure modes and identify safe fallback sets. When a runtime monitor triggers a fallback response, FORTRESS rapidly synthesizes plans to fallback goals while inferring and avoiding semantically unsafe regions in real time. By bridging open-world, multi-modal reasoning with dynamics-aware planning, we eliminate the need for hard-coded fallbacks and human safety interventions. FORTRESS outperforms on-the-fly prompting of slow reasoning models in safety classification accuracy on synthetic benchmarks and real-world ANYmal robot data, and further improves system safety and planning success in simulation and on quadrotor hardware for urban navigation. Website can be found at https://milanganai.github.io/fortress.