Robot-WATCHDOG : failure detection through object-centric graph representation

📄 arXiv: 2610.13403v1 📥 PDF

作者: Quentin Rolland, Fabrice Mayran de Chamisso, Jean-Baptiste Mouret

分类: cs.RO

发布日期: 2026-10-09

备注: Accepted at CoRL 2026

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出Robot-WATCHDOG以解决机器人故障检测问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: 故障检测 自监督学习 图神经网络 时空图 机器人技术 语义理解 交互级错误

📋 核心要点

  1. 现有故障检测方法在开放世界环境中难以明确界定故障，且难以平衡鲁棒性与语义错误捕捉能力。
  2. 论文提出Robot-WATCHDOG框架，通过对象中心的时空图表示来实现自监督故障检测，探索两种故障评分。
  3. 实验结果表明，TPC在AUPR和MCC指标上表现最佳，且在不同随机种子下具有低方差，超越了图像基础的故障检测器。

📝 摘要（中文）

可靠的实时故障检测对于部署学习的机器人策略至关重要，但在开放世界环境中明确界定故障是不可行的。这促使我们仅通过正常演示进行故障检测。现有方法在应对良性变化的鲁棒性与捕捉语义和交互级错误之间难以平衡。我们提出了Robot-WATCHDOG，一个自监督框架，将操作场景建模为以对象为中心的时空图。在此基础上，我们研究了两种互补的故障评分：轨迹投影与相关性（TPC），一种非参数的几何偏差和关系一致性度量，以及GnnT，一种结合Transformer的图注意力网络，预测未来对象状态。我们在公共基准和一个新的语义复杂操作任务数据集上进行了评估，结果显示这两种评分在语义和交互级故障检测上优于基于图像的故障检测器。

🔬 方法详解

问题定义：本论文旨在解决在开放世界环境中机器人故障检测的挑战，现有方法难以有效捕捉语义和交互级的错误，且对良性变化的鲁棒性不足。

核心思路：我们提出Robot-WATCHDOG框架，通过将操作场景建模为对象中心的时空图，利用自监督学习来检测故障，探索轨迹投影与相关性（TPC）和GnnT两种故障评分。

技术框架：整体架构包括两个主要模块：首先是对象中心的时空图构建，其次是基于图注意力网络的未来状态预测。TPC作为非参数度量，评估几何偏差和关系一致性。

关键创新：最重要的创新在于将操作场景建模为对象中心的图结构，结合自监督学习方法，能够有效捕捉复杂的语义和交互级故障，区别于传统的图像基础检测方法。

关键设计：在设计中，TPC评分采用非参数方法，关注几何和关系一致性；GnnT则利用Transformer架构增强图注意力网络的预测能力，确保对未来状态的准确预测。实验中使用了多个随机种子以验证模型的稳定性和鲁棒性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，TPC在AUPR和MCC指标上表现优异，尤其在语义和交互级故障检测中，超越了现有的图像基础故障检测器，且在不同随机种子下表现出低方差，验证了其稳定性和有效性。

🎯 应用场景

该研究的潜在应用领域包括自主机器人、智能制造和服务机器人等，能够提升机器人在复杂环境中的故障检测能力，确保其安全性和可靠性。未来，该技术可能推动更广泛的自适应和智能化机器人系统的发展。

📄 摘要（原文）

Reliable real-time failure detection is critical for deploying learned robotic policies, yet defining failures explicitly is infeasible in open-world settings. This motivates failure detection from nominal demonstrations alone. Existing methods, however, struggle to balance robustness to benign variations with the ability to capture semantic and interaction-level errors. We introduce Robot-WATCHDOG, a self-supervised framework that models manipulation scenes as object-centric spatio-temporal graphs. Building on this representation, we investigate two complementary failure scores: Trajectory Projection and Correlation (TPC), a non-parametric measure of geometric deviation and relational consistency, and GnnT, a Graph Attention Network with a Transformer that predicts future object states. We evaluate both on a public benchmark and on a new dataset of semantically complex manipulation tasks, across six tasks and ten random seeds. Both scores outperform image-based failure detectors, particularly on semantic and interaction-level failures. TPC provides the strongest performance in AUPR and MCC on both dataset averages, with low variance across seeds. Qualitative results are made available at https://cea-list.github.io/Robot-WATCHDOG/.