World-Calibrated Proposal-to-Action Flow for Vision-Language-Action Models

📄 arXiv: 2610.02323v1 📥 PDF

作者: Jie He, Wei Li, Junwen Tong, Rui Shao, Wei-Shi Zheng, Liqiang Nie

分类: cs.RO, cs.CV

发布日期: 2026-10-01

备注: 25 pages, 10 figures. Project page: https://github.com/JiuTian-VL/ProAct-page

💡 一句话要点

提出ProAct框架以解决视觉-语言-动作模型的生成连续性问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉-语言-动作 生成模型 动作连续性 机器人控制 多模态学习

📋 核心要点

  1. 现有流基方法未能有效利用最近执行的动作信息，导致生成的动作缺乏连续性。
  2. 提出ProAct框架，通过Proposal Expert和World Expert模块，使生成源可预测并保持动作的连续性。
  3. ProAct在多个仿真和现实任务中表现优异，性能提升显著，推理效率也有明显改善。

📝 摘要（中文）

基于流的视觉-语言-动作（VLA）策略通过从任务无关的各向同性高斯源传输样本生成动作片段。现有方法未能考虑最近执行的动作和预测的未来演变，导致局部连续性丧失。为此，本文提出ProAct框架，使生成源可预测。通过轻量级的Proposal Expert将最近动作转化为场景感知假设，并通过World Expert预测任务一致的潜在未来，从而实现动作生成的连续性和兼容性。实验表明，ProAct在仿真和现实任务中均显著提升性能，同时减少去噪步骤50%，推理延迟最高降低25.8%，吞吐量提升最高34.8%。

🔬 方法详解

问题定义：本文旨在解决现有视觉-语言-动作模型在生成动作时缺乏连续性的问题。现有方法未能有效利用最近执行的动作信息，导致生成的动作片段不连贯。

核心思路：ProAct框架通过引入Proposal Expert和World Expert模块，使生成源可预测，从而保持动作的连续性和场景的兼容性。Proposal Expert将最近的动作转化为场景感知的假设，而World Expert则预测与任务一致的潜在未来。

技术框架：ProAct框架主要由两个模块组成：Proposal Expert和World Expert。Proposal Expert负责将最近的动作信息转化为假设，World Expert则基于该假设进行未来状态的预测。整个流程通过一个中心化的生成源进行协调，确保生成的动作与场景演变相一致。

关键创新：ProAct的主要创新在于将生成源的可预测性引入到流动生成过程中，解决了现有方法中生成动作缺乏连续性的问题。与传统方法不同，ProAct不仅考虑了动作的生成，还关注了生成的起点和偏差范围。

关键设计：在设计中，Proposal Expert使用运动锚定的端点流匹配步骤来初始化生成，World Expert则将假设视为软运动先验，预测任务一致的潜在未来。此外，模型通过中心化的各向异性源来控制每一步的偏差范围，确保生成动作的合理性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，ProAct在多个仿真和现实任务中均优于基线模型$π_{0.5}$，性能提升显著。具体而言，去噪步骤减少50%，推理延迟降低最高25.8%，吞吐量提升最高34.8%。这些结果表明ProAct在效率和效果上的双重优势。

🎯 应用场景

该研究的ProAct框架具有广泛的应用潜力，尤其在机器人控制、自动化任务执行和人机交互等领域。通过提高视觉-语言-动作模型的生成效率和准确性，ProAct能够在实际应用中显著提升机器人在复杂环境中的表现，推动智能机器人技术的发展。

📄 摘要（原文）

Flow-based Vision-Language-Action (VLA) policies generate action chunks by transporting samples from a task-agnostic isotropic Gaussian source. As this source is conditioned on neither recent execution nor predicted future evolution, (i) it discards the local continuity established by recently executed motion. (ii) Even when predictive world representations are introduced, they often only condition the transport dynamics rather than determine where generation starts, how far it may deviate, or along which action directions it may expand. Building on this observation, we introduce ProAct, a world-calibrated proposal-to-action framework that makes the generative source itself predictable. (i) To preserve motion continuity, a lightweight Proposal Expert converts recent actions into a scene-aware hypothesis via one motion-anchored endpoint flow-matching step, initializing generation near the demonstrated action manifold. (ii) To jointly capture intended scene evolution and proposal-future compatibility, a prospective World Expert treats the hypothesis as a soft motion prior while predicting the task-consistent latent future. (iii) From this compatibility, the model calibrates a proposal-centered anisotropic source, where a bounded per-step extent controls the allowed deviation and a trace-normalized low-rank geometry under a condition-number budget allocates refinement over coupled translation, rotation, and gripper directions. Compared with $π_{0.5}$, ProAct improves performance across simulation and real-world tasks while reducing denoising steps by 50%, inference latency by up to 25.8%, and increasing throughput by up to 34.8%.