Reactive Real-Time Flow Policies via Asynchronous Distribution Alignment

📄 arXiv: 2609.36540v1 📥 PDF

作者: Moritz Zoellner, Reece O'Mahoney, Ioannis Havoutis, Rohan Paleja

分类: cs.RO, cs.LG

发布日期: 2026-09-29

💡 一句话要点

提出异步分布对齐方法以提升机器人实时反应能力

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 异步执行 动作分布对齐 机器人控制 流场蒸馏 视觉-语言-动作模型 实时反应 非马尔可夫演示

📋 核心要点

  1. 现有的视觉-语言-动作模型在实时控制中存在推理延迟的问题，影响机器人反应能力。
  2. 本文提出的异步分布对齐方法通过两种机制恢复机器人策略的反应性，提升了动作生成的准确性。
  3. 实验结果显示，本文方法在LIBERO和RoboMimic任务中均显著提高了成功率，验证了其有效性。

📝 摘要（中文）

通用机器人策略如视觉-语言-动作模型（VLA）在泛化能力上取得了显著进展，但其推理延迟与实时控制的需求存在冲突。本文研究异步执行是否能产生与原始VLA相同的动作分布。研究发现，对于非马尔可夫演示，异步执行可能导致根本不同的动作分布，从而限制策略的反应能力。我们通过两种互补机制恢复这种反应性：首先，递归流场蒸馏利用VLA的动作生成流训练异步策略；其次，提议-解决方法异步准备多个动作序列，并根据最新观察选择其中之一。实验结果表明，我们的方法在LIBERO上与原始VLA的成功率相匹配，并在RoboMimic上保留约80%的成功率，较现有异步方法提高了约30个百分点。

🔬 方法详解

问题定义：本文旨在解决异步执行导致的动作分布差异问题，现有方法在处理非马尔可夫演示时，可能会产生与原始VLA不同的动作分布，从而限制策略的反应能力。

核心思路：通过对异步生成的动作分布与原始VLA的动作分布进行对齐，恢复机器人策略的反应性。具体而言，采用递归流场蒸馏和提议-解决机制来实现这一目标。

技术框架：整体方法包括两个主要模块：递归流场蒸馏模块用于训练异步策略，提议-解决模块用于生成和选择动作序列。通过这两个模块的协同工作，确保异步策略能够接近原始VLA的动作生成能力。

关键创新：最重要的技术创新在于通过递归流场蒸馏训练异步策略，使其能够生成几乎与原始VLA相同范围的动作，而现有方法仅能恢复部分动作范围。

关键设计：在设计中，采用了轻量级的概率近似方法来选择动作序列，并在训练过程中使用了特定的损失函数，以确保异步策略与VLA的动作分布对齐。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

实验结果表明，本文方法在LIBERO任务上与原始VLA的成功率相匹配，并在RoboMimic任务上保留了约80%的成功率，较现有异步方法提高了约30个百分点，显示出显著的性能提升。

🎯 应用场景

该研究的潜在应用领域包括自主机器人、智能家居系统和复杂环境中的人机交互等。通过提升机器人在动态环境中的反应能力，能够更好地满足实时控制的需求，推动智能机器人技术的实际应用和发展。

📄 摘要（原文）

Generalist robot policies such as vision-language-action models (VLAs) have achieved remarkable generalization, but their inference delays can conflict with the demands of real-time control. Asynchronous execution avoids pauses between action chunks by predicting the next sequence of actions while the robot carries out the previous one. In this paper, we study whether asynchronous execution produces the same action distribution as the original VLA. We find that, for non-Markovian demonstrations, asynchronous execution can produce a fundamentally different action distribution, which can limit the policy's reactivity. In our method, we seek to restore this reactivity by aligning the asynchronously produced action distribution with that of the original VLA through two complementary mechanisms. First, Recursive Flow-Field Distillation trains the asynchronous policy using the VLA's action-generation flow. We characterize the learned distribution theoretically and show experimentally that our asynchronous policy can generate nearly the full range of actions the original VLA would produce, while existing asynchronous methods recover only a fraction of that range. Second, Propose-Resolve prepares multiple action sequences asynchronously and uses the latest observation to select among them based on a lightweight approximation of their likelihood under the VLA's action distribution. Our resulting method matches the original VLA's success on LIBERO and retains about 80% of its success on RoboMimic, about 30 percentage points more than existing asynchronous methods.