Toward Real-Time VLAs: Stage-Aware Two-Step Flow Denoising and System-Level Evaluation
作者: Di Wu, Rongtian Shen, Ping Liu, Yan Shen, Zhenhan Yin, Shun Zuo, Xuhua Chen, He Zheng, Lingfeng Zhang, Jianglin Zhang, Tao Zhang
分类: cs.RO
发布日期: 2026-09-30
备注: 31 pages, 21 figures (including 10 supplementary figures), and 10 tables (including 3 supplementary tables). Project page: https://embodied.magiclab.top/works/inference/index.html. Code: https://github.com/MagiclabRobotics/Inference
💡 一句话要点
提出阶段感知的两步流去噪以解决VLA模型实时性问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 视觉-语言-动作 实时系统 流去噪 机器人控制 模块化设计 性能优化 分布式框架
📋 核心要点
- 现有的VLA模型在推理速度与机器人执行速度之间存在显著的时间差，影响了实时应用的效果。
- 论文提出了一种两阶段非均匀去噪的方法，通过分析速度场的异质性来优化推理过程。
- 实验结果表明，结合两步去噪与代表性执行方法显著降低了推理成本，同时保持了任务性能的微小下降。
📝 摘要（中文）
视觉-语言-动作（VLA）模型面临低速推理与高速机器人执行之间的时间差。通过对模型推理和机器人执行链的端到端延迟测量，我们分析了这一差距。重复流匹配去噪显著增加了推理成本，而机器人端延迟主要源于感知获取、通信调度和物理响应。基于这一阶段异质性，我们提出了两阶段非均匀去噪，将步骤数量从10减少到2，模型推理时间从61.557毫秒降低至21.956毫秒。此外，我们开发了一个分布式实时VLA框架，具备独立推理、动作发布和机器人控制速率，模块化观察获取和动作来源记录。通过对六种实时执行方法的评估，结果显示Legato在基于训练的方法中表现最佳，而Temporal Smoothing在无训练方法中领先，均在任务成功率、完成时间、动作连续性和加速度平滑度方面表现出色。
🔬 方法详解
问题定义：本论文旨在解决视觉-语言-动作（VLA）模型在推理与机器人执行之间的时间差问题。现有方法在推理过程中存在较高的延迟，影响了实时应用的效果。
核心思路：提出的两阶段非均匀去噪方法基于对速度场的分析，利用阶段异质性来减少推理步骤和时间，从而提高整体效率。
技术框架：整体架构包括独立的推理模块、动作发布模块和机器人控制模块，支持模块化的观察获取和动作来源记录。通过分布式设计，能够实现不同速率的并行处理。
关键创新：论文的核心创新在于将去噪步骤从10个减少到2个，显著降低了模型推理时间，同时保持了任务性能的可接受水平。
关键设计：在去噪过程中，采用了重复流匹配技术，并对模型参数进行了优化，以适应不同阶段的速度场特性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，使用π0.5作为基线，六种实时执行方法在长时间物理折叠任务中表现出色。其中，Legato方法在训练基础方法中表现最佳，而Temporal Smoothing在无训练方法中领先。两步去噪结合代表性执行方法显著降低了推理成本，推理时间从61.557毫秒降至21.956毫秒，任务性能仅有小幅下降。
🎯 应用场景
该研究的潜在应用领域包括机器人操作、自动化生产线和智能家居等场景，能够显著提升机器人在复杂任务中的实时反应能力和执行效率。未来，该方法有望在更多实时交互系统中得到应用，推动智能机器人技术的发展。
📄 摘要（原文）
Vision-language-action (VLA) models face a timing gap between low-rate inference and high-rate robot execution. We characterize this gap through end-to-end latency measurements of model inference and the robot execution chain. Repeated Flow Matching denoising contributes substantially to inference cost, while robot-side delays mainly arise from perception acquisition, communication scheduling, and physical response. Analysis of the velocity field shows relatively stable magnitude and direction in early integration, followed by stronger directional correction near the terminal steps. Based on this stage heterogeneity, we propose two-stage non-uniform denoising, reducing the number of steps from 10 to 2 and model-inference time from 61.557 ms to 21.956 ms. We also develop a distributed real-time VLA framework with independent inference, action-publication, and robot-control rates, modular observation acquisition, and action-provenance logging. Using π0.5 as the baseline, we evaluate six real-time execution methods on a long-horizon physical garment-folding task. Legato performs best overall among training-based methods, while Temporal Smoothing leads among training-free methods; both perform strongly in task success, completion time, action continuity, and acceleration smoothness. Combining two-step denoising with representative execution methods substantially reduces inference cost with a small reduction in task performance. These results motivate joint optimization of model-inference efficiency and robot-system timing.