RESCUE: Is This Alarm Worth Acting On? Counterfactual Evaluation of VLA Runtime Monitors
作者: David Ahmedt-Aristizabal, Abdelwahed Khamis, Mohammad Ali Armin, Lars Petersson
分类: cs.RO, cs.AI
发布日期: 2026-10-09
💡 一句话要点
提出RESCUE框架以评估机器人监控警报的有效性
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 运行时监控 反事实分析 机器人故障恢复 干预策略 性能评估 自动化系统 监控器设计
📋 核心要点
- 现有的监控器评估方法主要关注准确性，未能考虑警报的时效性和干预的必要性。
- RESCUE框架通过反事实分析，评估监控器警报的干预效果，旨在提高故障恢复的效率。
- 实验表明，在特定条件下，监控器的有效性与干预措施和工作负载密切相关，且理想检测器的误报率限制在2.0-3.3%。
📝 摘要（中文）
运行时故障监控器通常通过准确区分失败与成功执行来进行评估。然而，准确的警报可能会在恢复时机上过晚，而不必要的干预可能会打断本可以成功的执行。本文提出RESCUE，一个用于评估监控器警报是否能促成有用干预的反事实框架。通过在执行检查点恢复模拟器和策略状态，RESCUE比较替代行动，识别满足特定恢复标准的最新检查点，并评估基于警报采取行动是否降低了预期任务完成成本。实验结果显示，监控器的价值依赖于可用干预和部署工作负载的共同作用。
🔬 方法详解
问题定义：本文解决的问题是如何有效评估机器人监控器的警报是否能促成有用的干预。现有方法主要关注监控器的准确性，未考虑警报的时效性和干预的必要性，导致可能的恢复机会被错过。
核心思路：RESCUE框架的核心思路是通过反事实分析，比较不同的干预行动，识别满足恢复标准的最新检查点，从而评估警报的实际价值。这样设计的目的是为了更全面地理解监控器的性能，而不仅仅是依赖于准确性指标。
技术框架：RESCUE框架的整体架构包括几个主要模块：首先，在执行过程中记录检查点；其次，恢复这些检查点以进行反事实分析；最后，比较不同的干预策略以评估其效果。
关键创新：RESCUE的关键创新在于其反事实评估方法，能够在不同的状态-干预对中识别恢复机会，而不是仅仅依赖于机器人状态。这一方法与现有方法的本质区别在于其关注点从单一的准确性转向了干预的有效性。
关键设计：在实验中，RESCUE使用了128,340个反事实分支，评估了不同的恢复策略和条件。关键参数包括恢复标准的设定和干预策略的选择，这些设计确保了评估的全面性和准确性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，在特定条件下，14个OpenVLA-OFT/LIBERO-Plus的失败案例中存在可恢复的检查点，而在其他条件下，恢复可能会降低可恢复性。此外，理想检测器的误报率必须控制在2.0-3.3%以内，以避免不必要的重置，这表明监控器的价值依赖于可用干预和工作负载。
🎯 应用场景
RESCUE框架具有广泛的应用潜力，尤其在机器人控制和自动化系统中，能够有效提高故障监控和恢复的效率。其方法论可以应用于多种领域，如工业机器人、无人驾驶汽车和服务机器人等，帮助优化系统的可靠性和安全性。未来，RESCUE的理念也可能扩展到其他智能系统的监控与评估中。
📄 摘要（原文）
Runtime failure monitors for robot policies are typically evaluated by how accurately they distinguish failed from successful executions. Yet an accurate alarm may arrive too late for recovery, while an unnecessary intervention may disrupt an execution that would otherwise succeed. We introduce RESCUE, a counterfactual framework for evaluating whether a monitor's alarms enable useful interventions. By restoring simulator and policy states at execution checkpoints, RESCUE compares alternative actions, identifies the latest checkpoint satisfying a specified recovery criterion, and evaluates whether acting on alarms reduces expected task-completion cost. We evaluate RESCUE with OpenVLA-OFT and $π_{0.5}$ over LIBERO-Spatial and LIBERO-Plus using 128,340 counterfactual branches. Recoverability depends on the state--intervention pair rather than on robot state alone: at $τ=0.5$, 14 of 66 OpenVLA-OFT/LIBERO-Plus failures contain a recoverable checkpoint under continuation, compared with 34 of 66 under continuation or scripted recovery, while recovery reduces recoverability in other conditions. On the primary strong-policy conditions, favourable detection scores do not establish lower intervention cost. Under the evaluated stop-and-reset model, even an idealised detector can afford only a 2.0--3.3% false-alarm rate before unnecessary resets outweigh the savings from stopping failures early. These results show that monitor value depends jointly on the intervention available and the workload in which it is deployed.