RoboMonitor: Label-Efficient Runtime Monitoring of Robot Task Execution via Predictive Representation Learning

📄 arXiv: 2609.30715v1 📥 PDF

作者: Abhiroop Ajith, Gokul Narayanan, Kyle Coelho, Tingji Zhao, Yash Shahapurkar, Brian Zhu, Melih Erdogan, Ted Krubasik, Constantinos Chamzas, Eugen Solowjow

分类: cs.RO

发布日期: 2026-09-25

💡 一句话要点

提出RoboMonitor以解决机器人任务执行监控中的标注效率问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 机器人监控 视觉-语言模型 时间监督微调 多模态学习 任务执行监控

📋 核心要点

  1. 现有的机器人执行监控方法依赖于大量标注数据，难以满足实际应用需求。
  2. RoboMonitor通过预训练和时间监督微调，显著提高了监控器的学习效率，减少了对标注的依赖。
  3. 在四项任务监控基准上，RoboMonitor在仅使用52个标注样本的情况下，达到了93.1%的平均阶段准确率。

📝 摘要（中文）

学习到的机器人策略生成动作，但仅凭输出无法判断执行是否按预期进行。机器人执行监控需要识别当前执行阶段、检测故障和确认任务完成。训练此类监控器需要稀缺的标注数据。本文提出RoboMonitor，一种高效的视觉-语言执行监控器，能够在引入监控监督之前，从机器人策略学习的数据集中学习。我们在25小时的多摄像头轨迹上进行预训练，涵盖12个操作任务和两种机器人形态，使用动作条件的未来特征预测、逆动力学和掩蔽预测。随后，我们将学习到的视觉和上下文编码器转移到因果监控器，并应用时间监督微调（Temporal SFT），结合每个观察窗口的监督与重叠窗口之间的一致性目标。在部署时，RoboMonitor仅需任务指令和摄像头观察。

🔬 方法详解

问题定义：本文旨在解决机器人任务执行监控中的标注效率问题。现有方法通常需要大量的标注数据，而这些数据在机器人策略学习中往往稀缺，限制了监控器的训练效果。

核心思路：RoboMonitor的核心思路是通过在引入监控监督之前，利用已有的无标注数据进行预训练，从而提高学习效率。通过结合视觉和语言信息，RoboMonitor能够在执行过程中有效识别任务阶段和故障。

技术框架：RoboMonitor的整体架构包括预训练阶段和微调阶段。在预训练阶段，使用25小时的多摄像头轨迹进行学习，涵盖多种操作任务。在微调阶段，采用时间监督微调（Temporal SFT），结合每个观察窗口的监督与重叠窗口之间的一致性目标。

关键创新：RoboMonitor的主要创新在于其高效的学习策略，尤其是时间监督微调方法，显著减少了错误阶段切换的发生率，与现有方法相比，提供了更高的准确性和可靠性。

关键设计：在模型设计上，RoboMonitor使用了动作条件的未来特征预测、逆动力学和掩蔽预测等技术，确保了模型在多任务环境中的适应性和鲁棒性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在四项任务监控基准上，RoboMonitor在仅使用52个标注样本的情况下，达到了93.1%的平均阶段准确率和85.9%的宏观召回率，超越了同样训练条件下的Qwen3-VL和Robometer。Temporal SFT方法将平均错误阶段切换率从15.23%降低至4.95%。

🎯 应用场景

RoboMonitor可广泛应用于工业机器人、服务机器人等领域，尤其是在需要实时监控和反馈的任务执行场景中。其高效的学习能力和低标注需求将推动机器人技术的普及和应用，提升自动化水平。

📄 摘要（原文）

Learned robot policies produce actions, but their outputs alone do not establish whether execution is progressing as intended. Robot execution monitoring requires identifying the current execution phase, detecting failures, and recognizing task completion from observations available during execution. Training such monitors requires annotations that are scarce in datasets collected for robot-policy learning. We present RoboMonitor, a label-efficient vision--language execution monitor that learns from these datasets before introducing monitoring supervision. We pre-train on 25 hours of multi-camera trajectories spanning 12 manipulation tasks and two robot embodiments, using action-conditioned future-feature prediction, inverse dynamics, and masked-present prediction. We then transfer the learned visual and context encoders to a causal monitor and apply temporal supervised fine-tuning (Temporal SFT), which combines supervision throughout each observation window with consistency objectives within and across overlapping windows. At deployment, RoboMonitor requires only the task instruction and camera observations. On a four-task monitoring benchmark, RoboMonitor trained with 52 labeled episodes achieves 93.1% mean phase accuracy and 85.9% macro recall over two fine-tuning seeds, exceeding Qwen3-VL and Robometer trained with the same monitoring supervision. Its phase accuracy also exceeds that of both Qwen3-VL and Robometer trained with 100 episodes. A Qwen3-VL ablation shows that Temporal SFT reduces mean spurious phase switching from 15.23% to 4.95%. In closed-loop deployment, the integrated system completes 39 of 40 simulated Toolbox Sorting trials and 35 of 40 real-world Reel Packing trials, with no false recovery triggers observed.