ForkCast: Predictive Recovery for Vision-Language-Action Policies via Counterfactual Futures

📄 arXiv: 2610.18650v1 📥 PDF

作者: Chenru Wen, Huajian Zeng, Haokai Ding, Jian Kang, Anqing Duan, Dawei Zhou, Dezhen Song, Xingxing Zuo

分类: cs.RO

发布日期: 2026-10-13

备注: 9 pages, 5 figures, 3 tables

💡 一句话要点

提出ForkCast框架以解决视觉-语言-动作策略中的恢复问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉-语言-动作 机器人恢复 预测模型 任务进展 反事实分析

📋 核心要点

  1. 现有的视觉-语言-动作策略在执行过程中容易受到物体滑动和视觉遮挡的影响，导致任务失败。
  2. ForkCast框架通过比较不同的干预方案，利用预测模型评估每个方案的潜在结果，从而实现有效的恢复。
  3. 在模拟实验中，ForkCast显著提高了策略的成功率，并且在真实机器人环境中也表现出色，显示出良好的适应性。

📝 摘要（中文）

视觉-语言-动作（VLA）策略在执行操作任务时，常因物体滑动或视觉遮挡而中断。传统的恢复方法通常依赖于策略训练中的学习或监控器的触发修复。本文提出了ForkCast，一个预测性恢复框架，通过比较反事实未来来决定是否以及如何干预冻结的VLA策略。在每个决策点，ForkCast评估三种候选方案：执行策略的正常动作、调整相机视角和重新规划手臂轨迹。候选条件的世界模型预测每个候选方案的潜在结果，并通过共享的任务进展头对预测结果进行评分。通过评估策略的继续执行与修复候选方案，ForkCast能够在没有故障检测器或干预阈值的情况下，基于任务进展做出干预决策。在五个模拟的RoboTwin 2.0任务中，ForkCast将成功率从13.3%提升至30.0%。

🔬 方法详解

问题定义：本文旨在解决视觉-语言-动作策略在执行过程中因物体滑动或视觉遮挡导致的任务中断问题。现有方法通常依赖于监控器触发修复，缺乏灵活性和实时性。

核心思路：ForkCast框架通过比较反事实未来，评估不同干预方案的潜在结果，决定是否以及如何干预冻结的VLA策略。这种设计使得恢复过程更加智能化和自适应。

技术框架：ForkCast的整体架构包括三个主要模块：候选方案评估模块、世界模型预测模块和任务进展评分模块。每个模块协同工作，以实现实时决策。

关键创新：ForkCast的创新之处在于其无需故障检测器或干预阈值，通过任务进展评分直接决定干预策略，从而简化了恢复过程。

关键设计：ForkCast使用候选条件的世界模型来预测每个候选方案的潜在结果，并通过共享的任务进展头进行评分。具体的参数设置和损失函数设计尚未详细披露，待进一步研究。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在五个模拟的RoboTwin 2.0任务中，ForkCast将成功率从13.3%提升至30.0%，显示出显著的性能提升。此外，该框架还能够在不更新的情况下迁移到其他VLA骨干网络，并在真实机器人环境中进一步提高成功率。

🎯 应用场景

该研究的潜在应用领域包括机器人操作、自动化制造和智能家居等场景，能够显著提高机器人在复杂环境中的操作成功率。未来，ForkCast框架有望与更多的视觉-语言-动作系统结合，推动智能机器人技术的发展。

📄 摘要（原文）

Vision-language-action (VLA) policies perform manipulation tasks using camera images and language instructions, but object slip or visual occlusion can disrupt execution. Recovery is typically learned during policy training or delegated to a monitor that triggers a scripted repair after detecting a failure. We introduce ForkCast, a predictive recovery framework that compares counterfactual futures to determine whether and how to intervene in a frozen VLA policy. At each decision point, ForkCast evaluates three candidates: executing the policy's nominal action chunk (Commit), adjusting the camera viewpoint (Reobserve), and replanning the arm trajectory (Replan). A candidate-conditioned world model forecasts the latent outcome of each candidate at a common future horizon, and a shared task-progress head scores the predicted outcomes. By evaluating the policy's own continuation alongside the repair candidates, a single comparison based on task progress determines both whether and how to intervene, without a failure detector, an intervention threshold, or updates to the VLA backbone. On five simulated RoboTwin 2.0 tasks with injected occlusion and object slip, ForkCast increases pooled success from 13.3% for the frozen $π_{0.5}$ policy to 30.0% and transfers to two additional VLA backbones without updating ForkCast. After adaptation on real-robot candidate rollouts, ForkCast also improves success over the base policy under both clean and visibility-limited conditions. Code will be released to benefit the research community.