Predictive Long-Horizon Progress Modeling with Action-Aware Quantification

📄 arXiv: 2610.32776v1 📥 PDF

作者: Tianchi Xu, Yalin Zheng, Yangxin Zhu, Ruonan Ren, Zheng Fu, Yunlong Wang, Yuanxin Zhong

分类: cs.RO

发布日期: 2026-10-23

💡 一句话要点

提出行动感知量化以解决长时间任务进度反馈问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 长时间任务 进度反馈 视觉-语言模型 机器人操作 密集标注

📋 核心要点

  1. 现有的进度标注方法依赖于主观的手动判断，导致稀疏的关键帧标记，限制了可扩展性和一致性。
  2. 提出了行动感知量化，通过视觉-语言模型将长时间轨迹分解为对象级子任务，并赋予加权行动信用。
  3. NimCritic在视频进度基准上超越了现有模型，终端成功率提升约65%，并在RoboArena基准上实现97%的整体召回率。

📝 摘要（中文）

定量和密集的任务进度反馈对于机器人操作在数据整理、策略评估和强化学习中至关重要。现有的进度标注通常依赖于主观手动判断的稀疏关键帧标记，限制了其可扩展性和跨任务一致性，尤其是在长时间操作中。为了解决这些挑战，本文提出了行动感知量化，这是一种统一的进度规范，通过视觉-语言模型将长时间轨迹分解为对象级子任务，并分配加权行动信用以捕捉细粒度的执行动态。通过VLM自动标注和人工校准，我们构建了一个超过800小时的训练视频数据集和LOOM，一个包含19,618个经过人工校准的评估帧的长时间进度基准。我们引入了NimCritic，一个通过联合视频-进度学习训练的预测进度评论员，并结合历史进度扰动以减轻序列漂移。NimCritic在视频进度基准和LOOM上与现有的过程奖励模型相匹配或超越，在终端成功率上超越GVL（GPT-6-Sol）约65%。

🔬 方法详解

问题定义：本文旨在解决机器人操作中长时间任务进度反馈的稀疏性和主观性问题。现有方法依赖于手动标注，导致进度标注的可扩展性和一致性不足。

核心思路：提出行动感知量化，通过视觉-语言模型将长时间轨迹分解为细粒度的对象级子任务，并为每个子任务分配加权行动信用，以捕捉执行动态。

技术框架：整体架构包括VLM自动标注、人工校准、NimCritic预测进度评论员、历史进度扰动和对比视频-进度对齐目标。主要模块相互协作，形成一个完整的进度建模系统。

关键创新：最重要的创新在于行动感知量化的提出，它通过细化进度反馈，克服了传统方法的局限性，提供了更为一致和可扩展的进度标注方式。

关键设计：在技术细节上，设计了联合视频-进度学习的训练策略，采用了历史进度扰动来减轻序列漂移，并设计了对比损失函数以实现视频和进度的对齐。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

NimCritic在视频进度基准（VPB）和LOOM上表现优异，终端成功率提升约65%，并在大规模RoboArena策略评估基准上实现了约97%的整体召回率，显示出其在密集进度反馈中的有效性。

🎯 应用场景

该研究的潜在应用领域包括机器人操作、自动化制造、智能家居等。通过提供密集的进度反馈，能够显著提升机器人在复杂任务中的表现和适应能力，未来可能对智能机器人系统的开发和优化产生深远影响。

📄 摘要（原文）

Quantitative and dense task progress feedback is essential for robotic manipulation across data curation, policy evaluation, and reinforcement learning. Existing progress annotations often rely on sparse keyframe markings derived from subjective manual judgments, limiting their scalability and cross-task consistency, particularly in long-horizon manipulation. To overcome these challenges, we propose action-aware quantification, a unified progress specification that decomposes long-horizon trajectories into object-level subtasks via a vision-language model (VLM) and assigns weighted action credits to capture fine-grained execution dynamics. Using VLM auto-labeling and human calibration, we construct an 800+ hour training video dataset and LOOM, a long-horizon progress benchmark containing 19,618 human-calibrated evaluation frames. To model these dense progress dynamics, we introduce NimCritic, a predictive progress critic trained via Joint Video-Progress Learning. We further incorporate Historical Progress Perturbation to mitigate sequential drift, and design a contrastive Video-Progress Alignment objective that bridges asymmetric expert streams by mutually grounding intermediate visual dynamics and denoised progress trajectories. NimCritic matches or outperforms state-of-the-art process reward models (PRMs) on the established Video Progress Benchmark (VPB) and LOOM, surpassing GVL (GPT-6-Sol) on VPB by about 65% in terminal success accuracy (TSA). On the large-scale RoboArena policy evaluation benchmark, it also retrieves human-selected successful rollouts with about 97% overall recall. These results establish action-aware quantification as a scalable foundation for dense progress feedback in robotic manipulation.