World Model Failure Classification and Anomaly Detection for Autonomous Inspection
作者: Michelle Ho, Muhammad Fadhil Ginting, Isaac R. Ward, Andrzej Reinke, Mykel J. Kochenderfer, Ali-akbar Agha-Mohammadi, Shayegan Omidshafiei
分类: cs.RO
发布日期: 2026-02-18
💡 一句话要点
提出一种基于世界模型的混合框架，用于自主巡检中的故障分类与异常检测。
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 自主巡检 故障分类 异常检测 世界模型 共形预测
📋 核心要点
- 自主巡检机器人面临遮挡、视角限制和意外环境条件等挑战，导致读数不准确，需要更可靠的故障检测方法。
- 论文提出一种混合框架，结合监督分类和异常检测，利用世界模型处理压缩视频输入，实现对巡检任务的分类。
- 实验表明，该框架在区分成功、失败和异常情况方面准确率超过90%，且速度优于人工观察员，具有实际应用潜力。
📝 摘要（中文）
本文提出了一种混合框架，结合了监督式故障分类和异常检测，用于自主巡检机器人监测工业场所。该框架能够将巡检任务分类为成功、已知故障或异常（即超出分布）情况。该方法使用带有压缩视频输入的世界模型作为骨干网络，并且与策略无关、不依赖数据分布。该框架基于共形预测(CP)阈值设定的两个决策函数进行分类，且分类发生在人工观察员之前。在办公室和工业场所收集的仪表巡检数据上进行了评估，并在Boston Dynamics Spot上进行了实时部署，实验表明，区分成功、失败和超出分布情况的准确率超过90%，且分类速度快于人工观察员。这些结果突出了在自主巡检任务中进行鲁棒的、预测性故障检测的潜力，或作为模型训练的反馈信号，以评估和提高训练数据的质量。
🔬 方法详解
问题定义：自主巡检机器人需要在复杂的工业环境中执行任务，但由于环境变化、传感器噪声等因素，可能出现各种故障情况。现有方法往往难以区分已知故障和未知的异常情况，导致巡检效率降低，甚至可能造成安全隐患。因此，需要一种能够准确分类故障类型，并及时发现异常情况的方法。
核心思路：论文的核心思路是将监督学习的故障分类与无监督学习的异常检测相结合。首先，利用监督学习对已知的故障类型进行分类，然后，利用异常检测方法识别超出已知分布的异常情况。这种混合方法可以提高故障检测的准确性和鲁棒性，同时能够发现潜在的未知故障。
技术框架：该框架主要包含以下几个模块：1) 世界模型：用于从压缩视频输入中提取特征，作为后续分类和异常检测的基础。2) 监督分类器：用于对已知的故障类型进行分类。3) 异常检测器：用于识别超出已知分布的异常情况。4) 共形预测(CP)：用于设定决策阈值，以区分成功、已知故障和异常情况。整体流程是：首先，视频输入经过世界模型提取特征；然后，特征分别输入到监督分类器和异常检测器；最后，根据CP设定的阈值，对任务进行分类。
关键创新：该方法的主要创新在于：1) 提出了一种混合框架，结合了监督分类和异常检测，能够更全面地识别故障类型。2) 使用世界模型作为特征提取器，能够有效地处理压缩视频输入。3) 利用共形预测(CP)设定决策阈值，提高了分类的可靠性。4) 该框架与策略无关，可以应用于不同的巡检任务。
关键设计：论文中，世界模型具体采用哪种结构未知，但强调了其处理压缩视频输入的能力。监督分类器和异常检测器的具体结构也未知，但需要根据具体的巡检任务和数据特点进行选择。共形预测(CP)的关键在于选择合适的置信水平，以平衡分类的准确性和召回率。损失函数的设计需要同时考虑监督分类和异常检测的需求，例如，可以使用交叉熵损失函数进行监督分类，使用自编码器的重构误差作为异常检测的指标。
🖼️ 关键图片
📊 实验亮点
实验结果表明，该框架在区分成功、失败和超出分布情况的准确率超过90%，并且分类速度快于人工观察员。该框架在Boston Dynamics Spot机器人上进行了实时部署，验证了其在实际应用中的可行性。这些结果表明，该方法具有很高的实用价值。
🎯 应用场景
该研究成果可广泛应用于各种自主巡检场景，例如工业设备维护、电力线路巡检、桥梁结构监测等。通过自动识别故障和异常情况，可以降低人工巡检的成本和风险，提高巡检效率和质量，并为设备维护提供决策支持。此外，该方法还可以作为模型训练的反馈信号，用于评估和提高训练数据的质量。
📄 摘要（原文）
Autonomous inspection robots for monitoring industrial sites can reduce costs and risks associated with human-led inspection. However, accurate readings can be challenging due to occlusions, limited viewpoints, or unexpected environmental conditions. We propose a hybrid framework that combines supervised failure classification with anomaly detection, enabling classification of inspection tasks as a success, known failure, or anomaly (i.e., out-of-distribution) case. Our approach uses a world model backbone with compressed video inputs. This policy-agnostic, distribution-free framework determines classifications based on two decision functions set by conformal prediction (CP) thresholds before a human observer does. We evaluate the framework on gauge inspection feeds collected from office and industrial sites and demonstrate real-time deployment on a Boston Dynamics Spot. Experiments show over 90% accuracy in distinguishing between successes, failures, and OOD cases, with classifications occurring earlier than a human observer. These results highlight the potential for robust, anticipatory failure detection in autonomous inspection tasks or as a feedback signal for model training to assess and improve the quality of training data. Project website: https://autoinspection-classification.github.io