PACT-VLA: Speculative Action-Chunk Verification with Pre-Commit Observations
作者: Yixiang Zhu, Ruilong Wu, Yonghao Chen, Jiaxiang Zou, Yusong Hu, Xinyu Chen
分类: cs.RO
发布日期: 2026-10-20
💡 一句话要点
提出PACT-VLA以解决视觉-语言-动作策略中的推测性动作块验证问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 视觉-语言-动作 异步推理 动作块验证 机器人导航 动态环境适应 多候选选择 流水线实现
📋 核心要点
- 现有的视觉-语言-动作策略在异步推理中存在延迟问题，导致新动作块基于过时的观察信息，影响任务成功率。
- PACT-VLA框架通过在候选生成过程中利用推理延迟，选择最适合最新观察的完整动作块，避免了过时信息的影响。
- 在多个真实机器人任务中，PACT-VLA的成功率从60%提升至82%，相比于传统异步执行方法有显著改善。
📝 摘要（中文）
视觉-语言-动作（VLA）策略在实际应用中常采用异步推理，导致新生成的动作块基于过时的观察信息，从而影响任务成功率。现有的多候选方法要么依赖于过时的观察进行排名，要么在执行过程中频繁切换候选，造成动作序列的不连续。本文提出PACT-VLA框架，通过利用推理延迟作为决策时间，生成候选动作块并使用最新观察进行选择。其评分函数FlowRes衡量候选块的流向与冻结策略下的速度预测之间的残差，避免了额外的验证器需求。实验表明，PACT-VLA在多个任务上显著提高了成功率。
🔬 方法详解
问题定义：本文旨在解决视觉-语言-动作策略在异步推理中因推理延迟导致的任务成功率下降问题。现有方法在生成新动作块时，依赖于过时的观察信息，造成执行效果不佳。
核心思路：PACT-VLA的核心思路是利用推理延迟作为决策时间，在候选生成的同时，基于最新的观察信息选择最合适的动作块。这种设计使得候选选择能够更好地适应动态变化的环境。
技术框架：PACT-VLA的整体架构包括候选生成和候选选择两个主要模块。候选生成基于推理开始时的观察信息，而候选选择则利用最新的观察信息进行评分和选择。
关键创新：PACT-VLA的主要创新在于其评分函数FlowRes，通过测量候选块的流向与冻结策略下的速度预测之间的残差，避免了对额外验证器的需求。这一方法与现有的多候选方法有本质区别。
关键设计：在PACT-VLA中，FlowRes评分函数的设计是关键，确保了候选块选择的高效性。此外，采用了流水线实现，重叠观察处理与候选生成，确保选择过程不会引入额外的控制步骤延迟。
🖼️ 关键图片
📊 实验亮点
在实验中，PACT-VLA在Kinetix上相比于RTC提高了15.0个百分点的平均成功率，在LIBERO上相比于GR00T N1.7的单候选异步执行提高了5.2个百分点。此外，该方法在三个真实机器人任务中将成功率从60%提升至82%，显示出显著的性能提升。
🎯 应用场景
PACT-VLA框架具有广泛的应用潜力，特别是在机器人导航、自动化操作和人机交互等领域。通过提高任务成功率，该方法能够显著提升机器人在动态环境中的适应能力和执行效率，未来可能推动更智能的机器人系统的发展。
📄 摘要（原文）
Vision-language-action (VLA) policies are commonly deployed with asynchronous inference in real-world settings, where the next action chunk is generated while the robot is still executing the previous one. By the time the new chunk is committed, the robot and scene have changed, so the chunk is conditioned on a stale observation and task success drops sharply as this inference delay grows. Generating multiple candidate chunks could let newer observations inform the final choice, but existing multi-candidate methods either rank candidates with the stale inference-start observation or repeatedly switch between candidates during execution, which can make the executed action sequence discontinuous. Our key insight is that inference delay can be used as decision time. While candidate generation is still underway, candidate selection can reuse the VLA itself to choose the complete action chunk that best fits a later observation. We propose PACT-VLA, a training-free framework that generates candidates from the inference-start observation and selects one using this pre-commit observation. Its scoring function, FlowRes, measures the residual between each candidate's implied flow direction and the velocity predicted by the frozen policy under the pre-commit observation, requiring no separate verifier. A pipelined implementation overlaps observation processing with candidate generation and batches scoring, so selection adds no control-step delay on the evaluated hardware. At a four-step delay, PACT-VLA improves average success by 15.0 percentage points over RTC on Kinetix and by 5.2 points over single-candidate asynchronous execution with GR00T N1.7 on LIBERO, and it further improves existing delay-robust methods. On three real-robot tasks, it raises average success from 60% to 82% over naive asynchronous execution with the same frozen $π_{0.5}$ checkpoint.