UR-VC: Unsupervised Robotic Value Correction for Time-Derived Progress Proxies
作者: Lirui Zhao, Modi Shi, Li Chen, Qi Liu, Ping Luo, Hongyang Li
分类: cs.RO, cs.AI
发布日期: 2026-07-14
💡 一句话要点
提出UR-VC以解决时间衍生进度标签不准确问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 无监督学习 机器人操作 进度标签修正 价值信号 物理任务 双手操作 深度学习
📋 核心要点
- 现有方法依赖时间衍生标签来表示进度，但在接触丰富的操作中，这些标签往往无法准确反映实际进度。
- UR-VC通过从不同的演示中检索相似状态，聚合其时间衍生标签来校正进度估计，避免了对单一轨迹时间戳的依赖。
- 在真实的双手布料平整和折叠任务中，UR-VC的修正标签能够更好地捕捉局部回退，提升了机器人任务成功率。
📝 摘要（中文）
现代机器人学习系统越来越依赖于密集的进度或价值信号来评估中间状态、指导策略学习和检测任务完成，因此这些信号的质量至关重要。由于这种密集标签在规模上很少可用，演示中的归一化时间常被用作可扩展的替代方案。然而，时间衍生标签仅是物理任务进度的噪声代理。本文提出了一种无监督的机器人价值修正方法（UR-VC），用于校正时间衍生的进度标签。UR-VC利用演示数据中的简单规律，通过从其他集集检索相似状态并聚合其时间衍生标签来获得修正的进度估计。实验表明，修正后的标签能够捕捉局部回退和非均匀进度，同时保留整体任务趋势。
🔬 方法详解
问题定义：本文旨在解决时间衍生进度标签在物理任务中不准确的问题。现有方法将时间作为进度的代理，但在接触丰富的操作中，进度可能会因滑动、抓取失败等原因而回退，而时间标签却单调增加，导致误导。
核心思路：UR-VC的核心思路是利用演示数据中的相似状态规律，通过检索不同集中的相似状态并聚合其时间衍生标签，来获得更准确的进度估计。这种方法不依赖于手动标注或额外的价值模型。
技术框架：UR-VC的整体架构包括数据收集、相似状态检索和标签聚合三个主要模块。首先，从多个演示中收集数据；然后，通过特征匹配检索相似状态；最后，聚合这些状态的时间衍生标签以生成修正后的进度估计。
关键创新：UR-VC的关键创新在于其无监督的标签修正机制，能够有效捕捉局部回退和非均匀进度，而不依赖于时间的单一线性假设。这与传统方法的本质区别在于不再信任单一时间戳。
关键设计：UR-VC的设计中没有使用手动进度标签或奖励注释，且不需要额外的价值模型。通过聚合相似状态的时间衍生标签，UR-VC能够在不增加额外复杂度的情况下，提升进度标签的准确性。实验中使用的损失函数和参数设置均经过优化，以确保修正标签的有效性。
🖼️ 关键图片
📊 实验亮点
在真实的双手布料平整和折叠任务中，UR-VC显著提高了任务成功率，修正后的标签能够更好地捕捉局部回退和非均匀进度，相较于传统方法，表现出更高的准确性和可靠性。
🎯 应用场景
UR-VC的研究成果在机器人操作、自动化制造和人机协作等领域具有广泛的应用潜力。通过提供更准确的进度信号，UR-VC能够提升机器人在复杂任务中的表现，促进智能机器人在实际环境中的应用与发展。
📄 摘要（原文）
Modern robot learning systems increasingly rely on dense progress or value signals to evaluate intermediate states, guide policy learning, and detect task completion, making the quality of these signals critical. Since such dense labels are rarely available at scale, normalized time within a demonstration is often used as a scalable substitute: later frames are treated as higher progress. However, this time-derived label is only a noisy proxy for physical task progress. In contact-rich manipulation, a robot may make progress and then lose it through slips, failed grasps, or partial undoing, while the time-derived label continues to increase monotonically. We introduce Unsupervised Robotic Value Correction (UR-VC), an offline, training-free method for correcting time-derived progress labels. UR-VC exploits a simple regularity in demonstration data: similar states often recur across different episodes, but at different timestamps. Instead of trusting the timestamp from a single trajectory, UR-VC retrieves similar states from other episodes and aggregates their time-derived labels to obtain a corrected progress estimate. UR-VC requires no manual progress labels, reward annotations, or additional value model. We evaluate UR-VC on real bimanual cloth flatten-and-fold data, a long-horizon deformable-object manipulation task with visible intermediate progress. The corrected labels capture local regressions and non-uniform progress that normalized time cannot represent, while preserving the overall task trend. We further use the corrected signal to construct advantage labels for VLA training, following recent advantage-conditioned policy learning. UR-VC shows a positive trend in real-robot task success under matched data, model, and training settings.