Reflex: Real-Time VLA Control through Streaming Inference

📄 arXiv: 2607.14695v1 📥 PDF

作者: Yuanchun Guo, Bingyan Liu

分类: cs.RO

发布日期: 2026-07-16

备注: Accepted by ICML2026

💡 一句话要点

提出Reflex框架以解决实时VLA控制问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉-语言-动作 实时推理 流匹配 自适应归一化 机器人控制 性能优化 增量缓存更新

📋 核心要点

  1. 现有流匹配VLA模型因其迭代去噪特性，无法满足实时机器人控制的需求，导致计算效率低下。
  2. Reflex框架通过时间不变性属性，划分注意力上下文区域，实现O(1)的增量缓存更新，支持实时推理。
  3. 在LIBERO和Kinetix基准测试中，Reflex实现了2.58倍的推理加速和54%的延迟降低，展现出显著的性能提升。

📝 摘要（中文）

流匹配视觉-语言-动作（VLA）模型承诺实现精确的连续控制，但其迭代去噪特性与实时机器人存在根本不兼容性。本文提出的Reflex框架通过利用时间不变性属性，实现了流匹配策略的实时流推理。Reflex将注意力上下文划分为静态、滑动和动态区域，使得增量缓存更新达到O(1)，同时保持固定输入的全批次等效注意力输出。为确保在高频连续推理下的稳定性，本文引入了自适应归一化层AdaRMSNorm，防止BFloat16数值崩溃。通过异步管道和操作融合，Reflex在LIBERO和Kinetix基准上实现了2.58倍的推理加速和50Hz的稳定流，反应延迟降低了54%。

🔬 方法详解

问题定义：本文旨在解决流匹配视觉-语言-动作（VLA）模型在实时机器人控制中的不兼容性，现有方法由于全局时间步注入导致KV缓存失效，面临O(N^2)的重计算或不正确的缓存重用问题。

核心思路：Reflex框架通过利用时间不变性属性，提出了一种新的流推理方法，允许在不影响性能的情况下实现实时推理。通过将注意力上下文划分为静态、滑动和动态区域，Reflex能够实现增量缓存更新，保持高效的推理速度。

技术框架：Reflex的整体架构包括三个主要模块：感知编码器、去噪循环和动作生成模块。感知编码器负责处理输入数据，去噪循环用于优化输出，而动作生成模块则负责将优化后的结果转化为实际控制指令。

关键创新：Reflex的核心创新在于引入了自适应归一化层AdaRMSNorm，能够在高频推理中防止数值崩溃，同时通过异步管道和操作融合技术，显著提高了推理效率。

关键设计：在设计中，Reflex采用了动态划分的注意力上下文，确保了在固定输入下的全批次等效输出。此外，AdaRMSNorm的设计考虑了流相位的门控机制，确保了数值稳定性。整体架构通过异步处理和操作融合，降低了内核开销。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在LIBERO和Kinetix基准测试中，Reflex实现了2.58倍的推理速度提升，稳定流速达到50Hz，反应延迟降低了54%。这些结果表明，Reflex在实时推理任务中具有显著的性能优势，能够有效支持高频率的控制需求。

🎯 应用场景

Reflex框架在实时机器人控制、自动驾驶、智能家居等领域具有广泛的应用潜力。其高效的推理能力和低延迟特性使得机器人能够在复杂环境中快速响应，提升了人机交互的智能化水平。未来，Reflex有望推动更多基于视觉和语言的智能系统的发展。

📄 摘要（原文）

Flow matching Vision-Language-Action (VLA) models promise precise continuous control, but their iterative denoising nature introduces fundamental incompatibilities with real-time robotics: global timestep injection invalidates KV-caching, forcing a choice between slow $O(N^2)$ re-computation or mathematically incorrect cache reuse. We present \textbf{Reflex}, a framework that enables \textit{real-time streaming inference} for flow matching policies by exploiting the \textit{Timestep-Invariance Property} -- that perception encoders are functionally independent of the denoising loop. Reflex partitions the attention context into static, sliding, and dynamic regions, enabling $O(1)$ incremental cache updates while preserving full-batch-equivalent attention outputs for fixed inputs. To ensure stability under continuous high-frequency inference, we introduce \textit{AdaRMSNorm}, an adaptive normalization layer that prevents BFloat16 numerical collapse by gating on flow phase. We further maximize throughput through an \textit{async pipeline} that decouples visual encoding from action generation, combined with \textit{operator fusion} that reduces kernel overhead. On LIBERO and Kinetix benchmarks, Reflex achieves a 2.58$\times$ inference speedup and 50Hz stable streaming, reducing reaction latency by up to 54\% and enabling efficient deployment without performance degradation.