SimPT: An Automated Simulation Framework for Intervention-Based VLA Post-Training

📄 arXiv: 2610.29161v1 📥 PDF

作者: Caicheng Wang, Zipeng Ye, Zhexuan Zhou, Zilong Huang, Xi Zhang, Yuchen Xie

分类: cs.RO

发布日期: 2026-10-21

备注: 11 pages, 6 figures

💡 一句话要点

提出SimPT框架以自动化干预式VLA后训练

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉-语言-动作 人机协作 后训练 仿真框架 机器人操作 策略优化 干预式学习

📋 核心要点

  1. 现有的人机协作后训练方法依赖于昂贵的人力监督和重复的真实机器人评估，限制了算法的探索。
  2. SimPT框架通过集成多个模块，自动化干预式VLA后训练，利用进度图优化干预时机和恢复策略。
  3. 在七个RoboTwin操作任务中，SimPT显著减少了恢复尝试次数，并提高了成功率，展示了其有效性。

📝 摘要（中文）

人机协作后训练通过专家修正提升视觉-语言-动作（VLA）策略，但高昂的人力监督和重复的真实机器人评估限制了算法的探索与发展。我们提出SimPT（基于仿真的后训练），该框架通过集成策略回放、纠正数据收集、策略训练和独立评估，自动化干预式VLA后训练。为自动确定干预时机和恢复策略，我们开发了代理编译进度图，利用特权模拟器状态跟踪任务进展，并在策略执行期间保留稳定快照。实验结果表明，SimPT在多个任务中显著提高了恢复成功率，展示了其在VLA后训练算法探索与开发中的实用性。

🔬 方法详解

问题定义：本论文旨在解决人机协作后训练中高昂的人力监督和重复评估带来的效率低下问题。现有方法在干预时机和恢复策略的选择上缺乏自动化，导致训练过程繁琐且不够高效。

核心思路：论文提出SimPT框架，集成策略回放、数据收集、策略训练和评估，利用进度图自动确定干预时机和恢复策略，从而提高训练效率和成功率。

技术框架：SimPT框架包括多个模块：策略回放模块用于生成任务执行轨迹，数据收集模块用于记录失败快照，策略训练模块用于更新VLA策略，评估模块用于独立验证策略性能。

关键创新：最重要的创新是引入了代理编译进度图，通过特权模拟器状态跟踪任务进展，显著减少了恢复尝试次数，提升了恢复成功率。与现有方法相比，SimPT在干预时机的选择上更加智能化。

关键设计：在设计中，采用了CuRobo作为专家进行恢复，利用快照从更高级的任务阶段开始恢复，并在必要时回退到早期阶段。此外，RECAP-CF-LPF的设计结合了交叉拟合和低通滤波，进一步提升了价值预测的准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，使用进度图的SimPT框架相比固定间隔快照基线，恢复尝试减少了75.0%，恢复成功率从93.4%提升至98.9%。在真实机器人HIL后训练中，成功率从72%提升至96%，显示出显著的性能提升。

🎯 应用场景

SimPT框架具有广泛的应用潜力，特别是在机器人操作、自动化控制和人机协作等领域。通过提高后训练的效率和成功率，SimPT能够加速机器人学习和适应新任务的能力，推动智能机器人技术的发展。

📄 摘要（原文）

Human-in-the-loop (HIL) post-training improves vision-language-action (VLA) policies through expert corrections, but costly human supervision and repeated real-robot evaluation limit algorithm exploration and development. We introduce SimPT (Simulation-based Post-Training), a simulation framework that automates intervention-based VLA post-training by integrating policy rollouts, corrective data collection, policy training, and standalone evaluation. To automatically determine intervention timing and recovery strategies, we develop an Agent-Compiled Progress Graph that tracks task progress using privileged simulator state and retains stable snapshots during policy execution. After a rollout fails, a CuRobo-based expert attempts recovery from these snapshots, starting at more advanced task stages and falling back to earlier ones as needed to generate corrective trajectories. We implement and compare four post-training methods, RECAP, HG-DAgger, DPO+SFT, and FlowPRO, across seven RoboTwin manipulation tasks. Relative to a fixed-interval snapshot baseline, the Progress Graph reduces recovery attempts by 75.0% and increases recovery success from 93.4% to 98.9%. Using SimPT, we develop RECAP-CF-LPF, a refinement of RECAP that combines cross-fitting and low-pass filtering of value predictions. This refinement increases the overall success rate from 76.50% to 79.36% in held-out simulation trials. In real-robot HIL post-training, it increases the success rate from 72% to 96% across 25 scenarios of an Ethernet cable-insertion task. These results demonstrate the utility of SimPT for exploring and developing VLA post-training algorithms.