RAFAIL: Relationship-Aware Failure Detection for Robotic Manipulation

📄 arXiv: 2609.18324v1 📥 PDF

作者: Loris Schneider, Edgar Welte, Rania Rayyes

分类: cs.RO

发布日期: 2026-09-16

💡 一句话要点

提出RAFAIL框架以解决机器人操作中的故障检测问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: 机器人操作 故障检测 视觉语言模型 异常检测 分布外检测 任务相关性 点云表示 智能制造

📋 核心要点

  1. 现有方法在故障检测中难以区分有害与无害的场景变化，导致误报率高。
  2. RAFAIL通过关注任务相关的实体关系，利用异常检测来识别执行故障，减少对无关变化的敏感性。
  3. RAFAIL在三个真实世界的机器人操作任务中取得了73.4%的平衡准确率，显著优于现有基线方法。

📝 摘要（中文）

在执行过程中检测故障对于可靠的机器人操作至关重要。视觉语言模型（VLMs）可以从语义上评估任务结果，但会增加运行时计算，而分布外（OOD）检测器可能对无害场景变化做出反应，而非与故障相关的偏差。我们提出了RAFAIL，一个用于检测机器人操作执行故障的框架。RAFAIL通过检测任务相关实体之间的关系异常来识别故障，重点关注观察中的相关部分，从而减少对与任务无关的场景变化的敏感性。RAFAIL在三个真实世界的机器人操作任务中实现了73.4%的平衡准确率，超越了最强的OOD和不确定性基线。

🔬 方法详解

问题定义：本论文旨在解决机器人操作中故障检测的挑战，现有方法在处理场景变化时容易产生误报，无法有效区分与任务相关的故障与无害变化。

核心思路：RAFAIL的核心思路是通过检测任务相关实体之间的关系异常来识别故障，专注于与任务相关的部分，从而提高检测的准确性和可靠性。

技术框架：RAFAIL框架包括两个主要阶段：离线阶段和运行时阶段。在离线阶段，使用视觉语言模型对成功的演示进行标注，提取任务进展和关系重要性；在运行时阶段，关系特定的OOD检测器评估这些表示，同时预测关系重要性和任务进展。

关键创新：RAFAIL的创新点在于不依赖于故障数据，通过关系异常检测来实现故障识别，显著减少了对无关场景变化的敏感性。这一方法与传统的基于OOD检测的方式有本质区别。

关键设计：在设计中，RAFAIL采用点云基础的关系表示学习，避免依赖策略内部特征，使用特定的OOD检测器来评估关系表示，确保在运行时高效且准确。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

RAFAIL在三个真实世界的机器人操作任务中实现了73.4%的平衡准确率，超越了最强的OOD和不确定性基线，展示了其在故障检测中的有效性和优越性，具有重要的实际应用价值。

🎯 应用场景

RAFAIL框架具有广泛的应用潜力，特别是在工业机器人、服务机器人和自主系统等领域。通过提高故障检测的准确性，RAFAIL可以显著提升机器人操作的安全性和可靠性，减少人为干预的需求，推动智能制造和自动化的发展。

📄 摘要（原文）

Detecting failures during execution is essential for reliable robotic manipulation. Vision-language models (VLMs) can assess task outcomes semantically but add runtime computation, whereas out-of-distribution (OOD) detectors may respond to harmless scene variations rather than failure-relevant deviations. We introduce RAFAIL, a framework for detecting execution failures during robotic manipulation. RAFAIL identifies failures by detecting anomalies in task-relevant relationships between entities, such as a gripper and an object or an object and its target. By focusing OOD detection on relevant parts of the observation, RAFAIL reduces sensitivity to task-irrelevant scene variation. Offline, a VLM annotates successful demonstrations with task progress and relationship importance, which are used to learn point-cloud-based relationship representations without relying on policy-internal features. At runtime, relationship-specific OOD detectors evaluate these representations while relationship importance and task progress are predicted without VLM inference. RAFAIL requires no failure data and achieves 73.4% balanced accuracy across three real-world robotic manipulation tasks, outperforming the strongest evaluated OOD- and uncertainty-based baselines.