See, Plan, Rewind: Progress-Aware Vision-Language-Action Models for Robust Robotic Manipulation

📄 arXiv: 2603.09292v1 📥 PDF

作者: Tingjun Dai, Mingfei Han, Tingwen Du, Zhiheng Liu, Zhihui Li, Salman Khan, Jun Yu, Xiaojun Chang

分类: cs.RO, cs.CV

发布日期: 2026-03-10

备注: Suggested to CVPR Findings. https://tingjundai.github.io/SPRVLA/

💡 一句话要点

提出SPR框架，通过显式里程碑实现鲁棒的机器人操作

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 机器人操作 视觉语言动作模型 任务进度感知 鲁棒性 泛化能力 里程碑 闭环控制

📋 核心要点

  1. 现有机器人操作方法缺乏对任务进度的有效感知，难以应对复杂环境和任务中的失败情况。
  2. SPR框架通过显式里程碑来衡量任务进度，实现对当前状态的理解、中间状态的预测和失败后的恢复。
  3. 实验表明，SPR在LIBERO和LIBERO-Plus基准测试中表现出色，尤其在分布外鲁棒性方面优于现有方法。

📝 摘要（中文）

本文提出了一种名为See, Plan, Rewind (SPR)的、具有进度感知能力的视觉-语言-动作框架，用于实现鲁棒的机器人操作。SPR通过显式的、可执行的里程碑来衡量任务进度，使模型能够确定当前任务状态，预测可验证的中间状态，并在进度停滞时检测并从失败中恢复。SPR通过一个连续的核心循环运行：观察当前状态和即将到来的里程碑，规划通往下一个2D航路点的轨迹，并通过监控进度来判断是否需要回溯到可恢复的状态。这种闭环方法无需额外的训练数据或辅助模型即可实现鲁棒的错误纠正。大量实验表明了该框架的有效性、泛化性和鲁棒性：SPR在LIBERO基准测试中优于MolmoAct基线5%。在具有未见指令和初始状态的LIBERO-Plus基准测试中，SPR实现了最先进的鲁棒性，性能下降最小，超过了OpenVLA-OFT和UniVLA，展示了卓越的分布外鲁棒性。

🔬 方法详解

问题定义：现有基于视觉-语言-动作的机器人操作模型，在面对复杂任务和环境时，缺乏对任务进度的有效感知，导致难以应对失败情况。这些模型通常依赖于大量的训练数据，并且泛化能力有限，难以适应新的指令和初始状态。因此，如何提高机器人操作的鲁棒性和泛化能力，使其能够有效地完成各种任务，是一个重要的研究问题。

核心思路：SPR框架的核心思路是通过显式的、可执行的里程碑来衡量任务进度。通过将语言指令分解为一系列空间子目标，并监控机器人是否按照预期达到这些子目标，SPR能够实时感知任务的当前状态，预测未来的中间状态，并在进度停滞时及时发现并纠正错误。这种基于进度的感知方法，使得机器人能够更加鲁棒地完成任务，并具有更强的泛化能力。

技术框架：SPR框架包含三个主要模块：See（观察）、Plan（规划）和Rewind（回溯）。See模块负责观察当前状态和即将到来的里程碑，提取视觉和语言信息。Plan模块根据当前状态和下一个里程碑，规划一条通往下一个2D航路点的轨迹。Rewind模块通过监控进度来判断是否需要回溯到可恢复的状态。这三个模块在一个连续的闭环中运行，使得机器人能够不断地调整自己的行为，以实现最终的目标。

关键创新：SPR框架最重要的技术创新点在于其对任务进度的显式建模。通过将语言指令分解为一系列空间子目标，并监控机器人是否按照预期达到这些子目标，SPR能够实时感知任务的当前状态，预测未来的中间状态，并在进度停滞时及时发现并纠正错误。这种基于进度的感知方法，与传统的端到端模型相比，具有更强的鲁棒性和泛化能力。

关键设计：SPR框架的关键设计包括：1) 使用视觉-语言模型来提取当前状态和里程碑的信息；2) 使用运动规划算法来生成通往下一个航路点的轨迹；3) 使用进度监控机制来判断是否需要回溯。具体来说，里程碑的选取需要具有可操作性和可验证性，运动规划算法需要考虑机器人的运动学约束，进度监控机制需要能够准确地检测到任务的停滞或失败。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

SPR框架在LIBERO基准测试中优于MolmoAct基线5%。在更具挑战性的LIBERO-Plus基准测试中，SPR在未见过的指令和初始状态下，实现了最先进的鲁棒性，性能下降最小，超过了OpenVLA-OFT和UniVLA，展示了卓越的分布外鲁棒性。这些实验结果表明，SPR框架能够有效地提高机器人操作的鲁棒性和泛化能力。

🎯 应用场景

SPR框架具有广泛的应用前景，可应用于各种需要鲁棒机器人操作的场景，例如家庭服务、工业自动化、医疗辅助等。通过提高机器人操作的鲁棒性和泛化能力，SPR可以使机器人更好地适应复杂环境和任务，从而提高工作效率和服务质量。未来，SPR还可以与其他技术相结合，例如强化学习、模仿学习等，以进一步提高机器人的智能水平。

📄 摘要（原文）

Measurement of task progress through explicit, actionable milestones is critical for robust robotic manipulation. This progress awareness enables a model to ground its current task status, anticipate verifiable intermediate states, and detect and recover from failures when progress stalls. To embody this capability, we introduce See, Plan, Rewind (SPR), a progress-aware vision-language-action framework that dynamically grounds language instructions into a sequence of spatial subgoals. SPR operates through a continuous core cycle, Seeing the current state and upcoming milestone, Planning a trajectory towards the next 2D waypoint, and Rewinding to a recoverable state upon failure by monitoring progress against the expected sequence. This closed-loop approach enables robust error correction without requiring additional training data or auxiliary models. Extensive experiments demonstrate the framework's effectiveness, generalization and robustness: SPR outperforms the MolmoAct baseline by 5\% on the LIBERO benchmark. On the challenging LIBERO-Plus benchmark with unseen instructions and initial states, SPR achieves state-of-the-art robustness with the smallest performance drop, surpassing OpenVLA-OFT and UniVLA, demonstrating superior out-of-distribution robustness.