Unpacking Failure Modes of Generative Policies: Runtime Monitoring of Consistency and Progress
作者: Christopher Agia, Rohan Sinha, Jingyun Yang, Zi-ang Cao, Rika Antonova, Marco Pavone, Jeannette Bohg
分类: cs.RO, cs.AI, cs.LG
发布日期: 2024-10-06 (更新: 2024-10-10)
备注: Project page: https://sites.google.com/stanford.edu/sentinel. 35 pages, 9 figures. Accepted to the Conference on Robot Learning (CoRL) 2024
💡 一句话要点
Sentinel：结合时间一致性和VLM的生成策略运行时故障监测框架
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 运行时监控 故障检测 模仿学习 视觉语言模型 机器人策略 时间一致性
📋 核心要点
- 模仿学习策略在未见环境中易失效，缺乏有效的运行时故障检测方法。
- 提出Sentinel框架，结合时间动作一致性与视觉语言模型，互补检测不稳定和任务进展故障。
- 实验表明，Sentinel比单一检测器多检测18%的故障，显著优于现有基线方法。
📝 摘要（中文）
模仿学习训练的机器人行为策略在偏离训练数据的情况下容易失效。因此，需要在测试时监控学习到的策略并提供早期故障预警算法，以促进可扩展部署。我们提出了Sentinel，一个运行时监控框架，将故障检测分为两个互补的类别：1) 不稳定故障，我们使用时间动作一致性的统计度量来检测；2) 任务进展故障，我们使用视觉语言模型（VLM）来检测策略是否自信且持续地采取无法解决任务的动作。我们的方法有两个关键优势。首先，由于学习到的策略表现出不同的故障模式，结合互补的检测器可以显著提高故障检测的准确性。其次，使用统计时间动作一致性度量确保我们能够以极低的计算成本快速检测多模态生成策略何时表现出不稳定的行为。相比之下，我们仅使用VLM来检测对时间不太敏感的故障模式。我们在模拟和真实世界的机器人移动操作领域中训练的扩散策略的背景下展示了我们的方法。通过统一时间一致性检测和VLM运行时监控，Sentinel比单独使用两个检测器中的任何一个多检测到18%的故障，并且明显优于基线，从而突出了为互补故障类别分配专用检测器的重要性。
🔬 方法详解
问题定义：论文旨在解决模仿学习训练的机器人策略在实际部署中，由于环境变化或未见情况导致的策略失效问题。现有方法要么依赖于单一的故障检测机制，无法覆盖所有类型的故障，要么计算成本过高，难以实时应用。因此，需要一种高效且全面的运行时故障检测方法，以提高机器人策略的鲁棒性和可靠性。
核心思路：论文的核心思路是将故障检测问题分解为两个互补的子问题：不稳定故障和任务进展故障。不稳定故障指的是策略输出的动作序列在时间上不一致，表现出随机或不稳定的行为；任务进展故障指的是策略虽然输出稳定的动作序列，但这些动作并不能有效地解决任务。通过分别设计针对这两种故障的检测器，并将其结合起来，可以更全面地覆盖策略的各种失效模式。
技术框架：Sentinel框架包含两个主要模块：时间一致性检测模块和视觉语言模型（VLM）监控模块。时间一致性检测模块使用统计方法来衡量策略输出的动作序列在时间上的连续性和一致性，快速检测不稳定故障。VLM监控模块利用视觉语言模型来判断策略的动作是否符合任务目标，检测任务进展故障。这两个模块并行运行，并将检测结果进行融合，最终输出故障预警信号。
关键创新：论文的关键创新在于将时间一致性检测和VLM监控相结合，针对不同类型的故障设计了专门的检测器。时间一致性检测能够以极低的计算成本快速检测不稳定故障，而VLM监控则能够检测对时间不太敏感的任务进展故障。这种互补的设计使得Sentinel能够更全面、更高效地检测策略的各种失效模式。
关键设计：时间一致性检测模块使用滑动窗口来计算动作序列的统计特征，例如方差或熵，并将其与预设的阈值进行比较，以判断动作序列是否一致。VLM监控模块使用预训练的视觉语言模型来评估当前状态和动作序列是否符合任务目标，例如，判断机器人是否正在朝着目标物体移动。具体的阈值和VLM的选择需要根据具体的任务和环境进行调整。
🖼️ 关键图片
📊 实验亮点
Sentinel在机器人移动操作任务中表现出色，通过结合时间一致性检测和VLM监控，比单独使用任何一种检测器多检测到18%的故障。实验结果表明，Sentinel能够显著优于现有的基线方法，证明了其在运行时故障检测方面的有效性和优越性。
🎯 应用场景
该研究成果可广泛应用于机器人自主导航、移动操作等领域。通过实时监测机器人策略的运行状态，及时发现并预警潜在的故障，可以有效提高机器人的可靠性和安全性，降低维护成本，加速机器人技术在工业、服务等领域的应用。
📄 摘要（原文）
Robot behavior policies trained via imitation learning are prone to failure under conditions that deviate from their training data. Thus, algorithms that monitor learned policies at test time and provide early warnings of failure are necessary to facilitate scalable deployment. We propose Sentinel, a runtime monitoring framework that splits the detection of failures into two complementary categories: 1) Erratic failures, which we detect using statistical measures of temporal action consistency, and 2) task progression failures, where we use Vision Language Models (VLMs) to detect when the policy confidently and consistently takes actions that do not solve the task. Our approach has two key strengths. First, because learned policies exhibit diverse failure modes, combining complementary detectors leads to significantly higher accuracy at failure detection. Second, using a statistical temporal action consistency measure ensures that we quickly detect when multimodal, generative policies exhibit erratic behavior at negligible computational cost. In contrast, we only use VLMs to detect failure modes that are less time-sensitive. We demonstrate our approach in the context of diffusion policies trained on robotic mobile manipulation domains in both simulation and the real world. By unifying temporal consistency detection and VLM runtime monitoring, Sentinel detects 18% more failures than using either of the two detectors alone and significantly outperforms baselines, thus highlighting the importance of assigning specialized detectors to complementary categories of failure. Qualitative results are made available at https://sites.google.com/stanford.edu/sentinel.