Can We Detect Failures Without Failure Data? Uncertainty-Aware Runtime Failure Detection for Imitation Learning Policies
作者: Chen Xu, Tony Khuong Nguyen, Emma Dixon, Christopher Rodriguez, Patrick Miller, Robert Lee, Paarth Shah, Rares Ambrus, Haruki Nishimura, Masha Itkina
分类: cs.RO, cs.AI, cs.LG
发布日期: 2025-03-11 (更新: 2025-06-20)
备注: Accepted by Robotics: Science and Systems 2025
💡 一句话要点
FAIL-Detect：一种基于不确定性的模仿学习策略运行时故障检测方法，无需故障数据。
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)
关键词: 模仿学习 故障检测 不确定性量化 共形预测 机器人操作
📋 核心要点
- 现有故障检测方法依赖于故障数据和先验知识，这限制了其在复杂机器人任务中的应用和扩展性。
- FAIL-Detect将故障检测视为序列分布外检测问题，利用策略输入输出提炼的标量信号和共形预测量化不确定性。
- 实验表明，FAIL-Detect在多种机器人操作任务中，比现有方法更准确、更快地检测到故障，提升了系统安全性。
📝 摘要（中文）
近年来，模仿学习和生成模型（如扩散模型和流模型）推动了机器人操作系统的显著进步。随着机器人策略性能的提高，可实现任务的复杂性和时间跨度也随之增加，导致难以先验预测的意外和多样化的故障模式。为了在安全关键的人工环境中实现可信赖的策略部署，可靠的运行时故障检测在策略推理过程中变得至关重要。然而，大多数现有的故障检测方法依赖于故障模式的先验知识，并且需要在训练期间使用故障数据，这在实践和可扩展性方面提出了重大挑战。为了应对这些限制，我们提出了一种模块化的两阶段方法FAIL-Detect，用于基于模仿学习的机器人操作中的故障检测。为了仅从成功的训练数据中准确识别故障，我们将问题定义为序列分布外（OOD）检测。我们首先将策略输入和输出提炼成与策略故障相关的标量信号，并捕获认知不确定性。然后，FAIL-Detect采用共形预测（CP）作为一种通用的框架，用于具有统计保证的不确定性量化。在经验上，我们彻底研究了各种机器人操作任务中学习的和事后标量信号候选者。我们的实验表明，学习的信号在很大程度上是一致有效的，特别是当使用我们新颖的基于流的密度估计器时。此外，我们的方法比最先进的（SOTA）故障检测基线更准确、更快地检测到故障。这些结果突出了FAIL-Detect在提高基于模仿学习的机器人系统的安全性和可靠性方面的潜力，因为它们正在向实际部署迈进。
🔬 方法详解
问题定义：论文旨在解决模仿学习策略在运行时，缺乏故障数据的情况下，如何准确、快速地检测出策略执行失败的问题。现有方法依赖于预先定义的故障模式和大量的故障数据进行训练，这在实际应用中难以满足，尤其是在复杂、未知的机器人操作环境中。这些方法泛化能力差，难以应对新的、未知的故障类型。
核心思路：论文的核心思路是将故障检测问题转化为序列分布外（OOD）检测问题。通过学习或后处理的方式，将策略的输入和输出转化为标量信号，这些信号能够反映策略执行过程中的不确定性。当策略执行出现偏差或进入未知状态时，这些信号的不确定性会显著增加，从而触发故障检测。利用共形预测（Conformal Prediction）框架，对这些不确定性进行量化，并提供统计保证。
技术框架：FAIL-Detect是一个两阶段的模块化方法： 1. 信号提取阶段：将策略的输入和输出提炼成标量信号，这些信号与策略的故障相关，并能捕获认知不确定性。可以使用学习的方法（例如，训练一个神经网络来预测信号）或后处理的方法（例如，计算策略输出的统计量）。 2. 故障检测阶段：利用共形预测（CP）框架，基于提取的标量信号，量化策略执行过程中的不确定性。CP提供了一个置信区间，如果实际观测值落在这个区间之外，则认为发生了故障。
关键创新：该方法最重要的创新点在于： 1. 无需故障数据：仅使用成功的训练数据进行故障检测，避免了收集和标注大量故障数据的困难。 2. 基于不确定性量化：通过量化策略执行过程中的不确定性，能够检测出未知的、新的故障类型。 3. 共形预测框架：利用共形预测框架，为故障检测提供统计保证，提高了检测的可靠性。
关键设计： 1. 标量信号选择：论文研究了多种标量信号的提取方法，包括学习的方法（例如，使用流模型进行密度估计）和后处理的方法（例如，计算策略输出的方差）。 2. 共形预测参数：共形预测的关键参数是置信水平（confidence level），它决定了故障检测的灵敏度。论文通过实验选择合适的置信水平，以平衡检测的准确性和召回率。 3. 流模型设计：如果使用流模型进行密度估计，需要选择合适的网络结构和训练方法，以保证密度估计的准确性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，FAIL-Detect在多种机器人操作任务中，能够准确、快速地检测到故障。特别是，使用基于流的密度估计器学习的信号，效果最佳。与最先进的故障检测基线相比，FAIL-Detect在检测准确率和检测速度方面均有显著提升。具体性能数据未知，但论文强调了其优于现有方法的表现。
🎯 应用场景
FAIL-Detect可应用于各种基于模仿学习的机器人系统，尤其是在安全至关重要的场景中，如自动驾驶、医疗机器人和工业自动化。该方法能够提高机器人系统的可靠性和安全性，降低因策略失败而造成的风险。未来，FAIL-Detect可以扩展到更复杂的任务和环境，并与其他故障恢复机制相结合，实现更鲁棒的机器人系统。
📄 摘要（原文）
Recent years have witnessed impressive robotic manipulation systems driven by advances in imitation learning and generative modeling, such as diffusion- and flow-based approaches. As robot policy performance increases, so does the complexity and time horizon of achievable tasks, inducing unexpected and diverse failure modes that are difficult to predict a priori. To enable trustworthy policy deployment in safety-critical human environments, reliable runtime failure detection becomes important during policy inference. However, most existing failure detection approaches rely on prior knowledge of failure modes and require failure data during training, which imposes a significant challenge in practicality and scalability. In response to these limitations, we present FAIL-Detect, a modular two-stage approach for failure detection in imitation learning-based robotic manipulation. To accurately identify failures from successful training data alone, we frame the problem as sequential out-of-distribution (OOD) detection. We first distill policy inputs and outputs into scalar signals that correlate with policy failures and capture epistemic uncertainty. FAIL-Detect then employs conformal prediction (CP) as a versatile framework for uncertainty quantification with statistical guarantees. Empirically, we thoroughly investigate both learned and post-hoc scalar signal candidates on diverse robotic manipulation tasks. Our experiments show learned signals to be mostly consistently effective, particularly when using our novel flow-based density estimator. Furthermore, our method detects failures more accurately and faster than state-of-the-art (SOTA) failure detection baselines. These results highlight the potential of FAIL-Detect to enhance the safety and reliability of imitation learning-based robotic systems as they progress toward real-world deployment.