DSDyn-VLA: A Dual-Stream Dynamic Manipulation Framework with Motion Perception, Future Awareness, and Realtime Correction

📄 arXiv: 2609.39198v1 📥 PDF

作者: Wenhao Li, Xiu Su, Yu Han, Yichao Cao, Shan You, Chang Xu

分类: cs.RO

发布日期: 2026-09-30

💡 一句话要点

提出DSDyn-VLA以解决动态环境中的视觉-语言-动作问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 动态操作 视觉-语言-动作 运动感知 实时修正 强化学习 光流技术 自动化

📋 核心要点

  1. 现有的视觉-语言-动作模型在动态环境中存在感知、延迟和控制等多方面的不足，导致操作失败率高。
  2. DSDyn-VLA框架通过慢速流规划器和快速残差修正器的结合，增强了对动态环境的适应能力，提供了实时的动作修正。
  3. 实验结果显示，DSDyn-VLA在高延迟设置下的失败率降低超过76%，在真实动态环境中成功率提升约6倍。

📝 摘要（中文）

尽管视觉-语言-动作（VLA）模型在静态任务中表现出色，但在动态环境中（如传送带操作）却面临挑战。本文识别了三大限制因素：感知差距、延迟差距和控制差距。为此，提出了DSDyn-VLA，一个双流动态操作框架，结合了运动感知的前瞻性规划和实时残差修正。通过引入光流和未来状态感知机制，DSDyn-VLA显著提高了动态操作的成功率，并在多个基准测试中表现优异。

🔬 方法详解

问题定义：本文旨在解决现有视觉-语言-动作模型在动态环境中的不足，特别是感知、延迟和控制方面的挑战。现有方法在处理动态物体时缺乏有效的时间信息和实时调整能力。

核心思路：DSDyn-VLA框架通过引入慢速流规划器和快速残差修正器，结合运动感知和未来状态意识，旨在实现对动态环境的高效操作和实时反馈。

技术框架：该框架分为两个主要模块：慢速流规划器（Flow-Planner）作为宏观规划者，负责生成全局一致的动作块；快速残差修正器（Res-Refiner）则根据实时观察对动作块进行高频率的闭环修正。

关键创新：DSDyn-VLA的核心创新在于将光流技术与未来状态感知机制结合，显著提升了动态环境下的动作规划能力，与现有方法相比，提供了更高的灵活性和实时性。

关键设计：在设计中，流规划器利用光流进行时间感知，未来状态意识机制用于预判延迟影响，残差修正器则采用轻量级强化学习策略进行实时调整。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，DSDyn-VLA在Kinetix动态基准测试中，失败率降低超过76%，在真实动态环境中的成功率约为PI0.5的6倍，在DynBench上约为5倍，展示了其在动态操作中的优越性。

🎯 应用场景

该研究的潜在应用领域包括自动化生产线、机器人抓取、智能物流等动态操作场景。通过提高动态环境下的操作成功率，DSDyn-VLA能够显著提升工业自动化的效率和可靠性，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

While Vision-Language-Action (VLA) models excel in static tasks, they struggle in dynamic environments where objects are in motion (e.g., conveyor belt manipulation). We identify three fundamental limitations hindering current VLAs in these scenarios: the \textbf{perception gap}, where static visual inputs lack temporal motion cues; the \textbf{latency gap}, where inference delays render actions obsolete; and the \textbf{control gap}, caused by the open-loop action chunk execution without real-time adjustment. In this work, we propose \textbf{DSDyn-VLA}, a Slow-Fast \textbf{D}ual-\textbf{S}tream \textbf{Dyn}amic manipulation framework that integrates motion-aware foresighted planning with real-time residual correction. The slow \textbf{Flow-Planner} serves as a macro-planner. By enhancing the VLA with optical flow for temporal perception and a future state awareness mechanism to preemptively offset inference latency, it produces globally consistent, motion-aware action chunks. Complementing this, the fast \textbf{Res-Refiner} employs a lightweight RL policy to inject high-frequency, closed-loop corrections into the planned action chunks based on real-time observations. In addition, we introduce \textbf{DynBench}, a MuJoCo-based benchmark for dynamic object manipulation that comprises nine tasks. Extensive experiments demonstrate that DSDyn-VLA reduces the failure rate by over 76\% compared to current SOTA method in high-latency setting on the Kinetix dynamic benchmark, while achieving about 6$\times$ the success rate of PI0.5 in real-world dynamic settings and about 5$\times$ on DynBench. We will open-source all the code and weights.