DynamicVLA: A Vision-Language-Action Model for Dynamic Object Manipulation

📄 arXiv: 2601.22153v1 📥 PDF

作者: Haozhe Xie, Beichen Wen, Jiarui Zheng, Zhaoxi Chen, Fangzhou Hong, Haiwen Diao, Ziwei Liu

分类: cs.RO, cs.CV

发布日期: 2026-01-29

备注: Project Page: https://www.infinitescript.com/project/dynamic-vla/ GitHub: https://github.com/hzxie/DynamicVLA

💡 一句话要点

DynamicVLA：用于动态物体操作的视觉-语言-动作模型

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱七：动作重定向 (Motion Retargeting) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 动态物体操作 视觉-语言-动作模型 时间推理 闭环适应 连续推理 机器人操作 深度学习

📋 核心要点

  1. 现有VLA模型在动态物体操作中面临挑战，缺乏快速感知、时间预测和连续控制能力。
  2. DynamicVLA通过紧凑模型、连续推理和潜在感知动作流，实现时间推理和闭环适应。
  3. DynamicVLA在自建的DOM基准上进行了广泛评估，显著提升了响应速度、感知和泛化能力。

📝 摘要（中文）

本文提出DynamicVLA，一个用于动态物体操作的框架。现有视觉-语言-动作（VLA）模型在静态操作中表现出色，但在动态场景中面临挑战，需要快速感知、时间预测和连续控制。DynamicVLA通过三个关键设计集成时间推理和闭环适应：1) 紧凑的0.4B VLA模型，使用卷积视觉编码器进行空间高效、结构忠实的编码，实现快速多模态推理；2) 连续推理，实现重叠的推理和执行，以降低延迟并及时适应物体运动；3) 潜在感知动作流，通过强制时间对齐的动作执行来弥合感知-执行差距。为了填补动态操作数据的空白，我们引入了动态物体操作（DOM）基准，从头开始构建，采用自动数据收集流程，高效收集了跨2.8K场景和206个物体的20万个合成episode，并能够快速收集2K个真实世界episode，无需远程操作。广泛的评估表明，在响应速度、感知和泛化方面有显著改进，使DynamicVLA成为跨embodiment的通用动态物体操作的统一框架。

🔬 方法详解

问题定义：现有视觉-语言-动作（VLA）模型在静态物体操作任务中表现良好，但难以处理动态场景。动态场景需要模型具备快速感知、时间预测和连续控制的能力，而现有方法通常无法满足这些需求，导致操作失败。因此，论文旨在解决VLA模型在动态物体操作中的泛化性问题，提升其在复杂动态环境中的性能。

核心思路：DynamicVLA的核心思路是通过集成时间推理和闭环适应来提升模型在动态环境中的性能。具体而言，模型通过紧凑的视觉编码器实现快速推理，通过连续推理降低延迟，并通过潜在感知动作流弥合感知和执行之间的差距。这种设计使得模型能够及时响应物体运动，并进行连续控制。

技术框架：DynamicVLA的整体框架包含三个主要模块：1) 紧凑的视觉-语言-动作模型，使用卷积视觉编码器提取视觉特征；2) 连续推理模块，允许推理和执行过程重叠进行，降低延迟；3) 潜在感知动作流模块，通过时间对齐的动作执行，确保动作的连贯性和准确性。模型首先接收视觉输入和语言指令，然后通过视觉编码器提取视觉特征，并与语言特征融合。接着，连续推理模块根据融合后的特征生成动作序列，并通过潜在感知动作流模块进行优化和执行。

关键创新：DynamicVLA的关键创新在于其集成了时间推理和闭环适应机制，从而能够更好地处理动态物体操作任务。与现有方法相比，DynamicVLA不仅关注静态场景的理解，还关注物体运动的时间信息，并能够根据环境变化进行实时调整。此外，DynamicVLA提出的连续推理和潜在感知动作流模块也为动态操作任务提供了新的解决方案。

关键设计：DynamicVLA的关键设计包括：1) 使用0.4B参数的紧凑VLA模型，以实现快速推理；2) 采用卷积视觉编码器，以实现空间高效和结构忠实的编码；3) 设计连续推理模块，允许推理和执行过程重叠进行；4) 引入潜在感知动作流模块，通过时间对齐的动作执行来弥合感知-执行差距；5) 构建了Dynamic Object Manipulation (DOM) 基准数据集，包含20万个合成episode和2千个真实世界episode。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

DynamicVLA在动态物体操作任务中取得了显著的性能提升。实验结果表明，DynamicVLA在响应速度、感知和泛化能力方面均优于现有方法。此外，DynamicVLA在自建的DOM基准数据集上进行了广泛评估，证明了其在复杂动态环境中的有效性。具体性能数据在论文中有详细展示，相较于基线模型有显著提升。

🎯 应用场景

DynamicVLA在机器人操作、自动驾驶、智能制造等领域具有广泛的应用前景。例如，在机器人操作中，DynamicVLA可以用于控制机器人抓取和操作运动中的物体；在自动驾驶中，可以用于预测其他车辆或行人的运动轨迹，并做出相应的驾驶决策；在智能制造中，可以用于控制机器人进行动态装配和生产。

📄 摘要（原文）

Manipulating dynamic objects remains an open challenge for Vision-Language-Action (VLA) models, which, despite strong generalization in static manipulation, struggle in dynamic scenarios requiring rapid perception, temporal anticipation, and continuous control. We present DynamicVLA, a framework for dynamic object manipulation that integrates temporal reasoning and closed-loop adaptation through three key designs: 1) a compact 0.4B VLA using a convolutional vision encoder for spatially efficient, structurally faithful encoding, enabling fast multimodal inference; 2) Continuous Inference, enabling overlapping reasoning and execution for lower latency and timely adaptation to object motion; and 3) Latent-aware Action Streaming, which bridges the perception-execution gap by enforcing temporally aligned action execution. To fill the missing foundation of dynamic manipulation data, we introduce the Dynamic Object Manipulation (DOM) benchmark, built from scratch with an auto data collection pipeline that efficiently gathers 200K synthetic episodes across 2.8K scenes and 206 objects, and enables fast collection of 2K real-world episodes without teleoperation. Extensive evaluations demonstrate remarkable improvements in response speed, perception, and generalization, positioning DynamicVLA as a unified framework for general dynamic object manipulation across embodiments.