RoboChrono: A Real Robot Benchmark for Streaming Task Understanding

📄 arXiv: 2609.36605v1 📥 PDF

作者: Yuzhou Wu, Longteng Fan, Zimeng Li, Yu Wanchan, Ting Zhang, Yiyang Ma, Shihao Li, Wei Ying, Jianbin Qin, Jiajian Jing, Fangwen Chen, Yifan Wu, Zichen Zhang, Ruiqi Yang, Weibin Kong, Yihang Xu, Haoran Liu, Zonghang He, Xuyang Liu, YiFan Xiong, Siteng Huang, Tao Xu, Zhuo Xu, Long Chen, Ruoxiang Li

分类: cs.RO

发布日期: 2026-09-29

备注: 15 pages, 7 figures. Project website: https://continuity3.github.io/robochrono/ ; Code: https://github.com/mfan-res/ROBOCHRONO ; Datasets: https://huggingface.co/datasets/gimai/RC-Tianji and https://huggingface.co/datasets/gimai/RC-GIM

💡 一句话要点

提出RoboChrono基准以解决机器人任务理解问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: 机器人操作 任务理解 流式评估 视觉-语言模型 多任务学习 时间排序 动作预测

📋 核心要点

  1. 现有方法在理解机器人操作时，难以有效结合视觉信息与任务进展，导致任务理解能力不足。
  2. 论文提出RoboChrono基准，通过真实机器人执行和人类录音构建，评估多种任务的流式理解能力。
  3. 实验结果显示不同模型在任务表现上存在显著差异，强调了针对特定能力的评估需求。

📝 摘要（中文）

理解机器人操作的过程需要模型将视觉观察与交互历史和任务进展关联起来。我们介绍了RoboChrono，这是一个用于流式任务理解的基准，包含39个场景和34,713个评估实例，基于真实机器人执行和补充的裸手人类录音构建。该基准评估七个任务，涵盖动作理解与预测、视觉对应、时间排序和动作定位。对18个视觉-语言模型的零-shot评估显示任务间存在显著差异。GPT-6-Astra在帧匹配任务上达到98.3%的准确率，但在帧排序上仅为68.3%。这些发现表明，强视觉匹配并不总是与强时间排序一致，并建议即使在缺乏视觉证据的情况下，下一步动作预测也可以依赖于任务和动作先验。

🔬 方法详解

问题定义：本论文旨在解决机器人操作中任务理解的不足，现有方法难以有效整合视觉信息与任务历史，导致理解能力受限。

核心思路：通过构建RoboChrono基准，提供一个多场景、多任务的评估平台，帮助研究者分析和比较不同模型在流式任务理解中的表现。

技术框架：RoboChrono基准包含39个场景和34,713个评估实例，涵盖七个任务，主要模块包括动作理解、视觉对应、时间排序和动作定位等。

关键创新：RoboChrono的构建不仅提供了丰富的评估数据，还揭示了视觉匹配与时间排序之间的关系，强调了任务理解的复杂性。

关键设计：在实验中，采用了多种视觉-语言模型进行零-shot评估，设计了不同的输入消融实验，以分析视觉证据对任务理解的影响。具体参数设置和损失函数的选择也经过精心设计，以确保评估的有效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，GPT-6-Astra在帧匹配任务上达到98.3%的准确率，而在帧排序任务上仅为68.3%。RynnBrain1.1-122B-A10B在这两个任务上的表现差距更大，分别为95.4%和32.9%。这些结果强调了不同任务间的表现差异，揭示了视觉匹配与时间排序的不同依赖性。

🎯 应用场景

RoboChrono基准的潜在应用领域包括机器人操作、智能家居、自动化生产等。通过提升机器人对任务的理解能力，可以实现更高效的自动化操作，推动智能机器人在实际场景中的应用和发展。

📄 摘要（原文）

Understanding ongoing robot manipulation requires models to interpret visual observations in relation to interaction history and task progress. We introduce RoboChrono, a benchmark for streaming task understanding comprising 39 scenarios and 34,713 evaluation instances, constructed from real robot executions and complementary bare-hand human recordings. The benchmark evaluates seven tasks grouped into recognition, alignment, and temporal grounding, covering action understanding and anticipation, visual correspondence, temporal ordering, and action localization. Zero-shot evaluation of 18 vision-language models reveals substantial differences across tasks. GPT-6-Astra achieves 98.3% accuracy on Frame Matching but 68.3% on Frame Ordering, while RynnBrain1.1-122B-A10B exhibits a larger gap, reaching 95.4% and 32.9%, respectively. Input ablations on matched questions with five open-weight models further reveal distinct dependencies on visual evidence: removing visual observations reduces Current Action Recognition accuracy by 22.1 percentage points, whereas Next Action Prediction decreases by only 0.7 points. These findings show that strong visual matching does not consistently coincide with strong temporal ordering, and suggest that next-action prediction can be supported by task and action priors even when visual evidence is unavailable. RoboChrono provides a diagnostic setting for examining these differences, highlighting the need for capability-specific evaluation beyond aggregate scores when assessing task understanding in robot manipulation.