MotionWeave: Learning Motion-Centered Future Dynamics for Vision-Language-Action Policies

📄 arXiv: 2609.39324v1 📥 PDF

作者: Jingqiu Wang, Yan Wang

分类: cs.RO, cs.CV, cs.LG

发布日期: 2026-09-30

备注: 4 pages + 1 page references, 3 figures, 2 tables. Code: https://github.com/autu-mn/MotionWeave

🔗 代码/项目: GITHUB

💡 一句话要点

提出MotionWeave以解决视觉-语言-动作模型的动态预测问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉-语言-动作 动态预测 机器人控制 多模态学习 动作识别 未来动态建模

📋 核心要点

  1. 现有的视觉-语言-动作模型在动态预测中面临控制无关外观和时间步特定对应关系不足的问题。
  2. 论文提出MotionWeave框架，通过动作诱导运动定位器和地平线残差合成器实现动作块预测，增强了动态监督的准确性。
  3. 在六个MetaWorld任务中，MotionWeave的平均成功率达到75.3%，较基线提升8.6%，尤其在持续交互任务中表现优异。

📝 摘要（中文）

视觉-语言-动作（VLA）模型最近引入了世界模型，以提供超越稀疏动作标签的更丰富动态监督。然而，显式预测未来图像或视频可能包含与控制无关的外观，而基于整体未来视觉表示和共享全局动作特征的指导可能无法建立动作与局部视觉变化之间的时间步特定对应关系。为了解决这一问题，本文提出了MotionWeave，一个以运动为中心的未来动态框架，包含两个模块：动作诱导运动定位器（AIMG）和地平线残差合成器（HRC）。具体而言，AIMG基于动作和自我感知表示构建地平线特定查询，从当前视觉标记中定位与每个未来动作时间步相关的交互区域。HRC提取相邻地平线的交互表示之间的差异，将其编码为时间运动线索，并通过门控残差注入到动作标记中。在六个MetaWorld任务上，MotionWeave实现了75.3%的平均成功率，相较于基线π0（66.7%）提升了8.6%，尤其在持续交互任务上表现突出。

🔬 方法详解

问题定义：本文旨在解决视觉-语言-动作模型在未来动态预测中存在的控制无关外观和时间步特定对应关系不足的问题。现有方法在处理复杂动态场景时，往往无法准确捕捉动作与视觉变化之间的关系。

核心思路：论文提出的MotionWeave框架通过引入动作诱导运动定位器（AIMG）和地平线残差合成器（HRC），实现了基于动作的动态预测。AIMG通过条件化动作和自我感知表示，构建特定于地平线的查询，以定位与未来动作相关的交互区域。HRC则提取相邻地平线的交互表示差异，编码为时间运动线索。

技术框架：MotionWeave的整体架构包括两个主要模块：AIMG和HRC。AIMG负责根据当前视觉标记和动作信息生成地平线特定的查询，HRC则在此基础上提取时间运动线索并将其注入到动作标记中。训练过程中使用未来帧渲染的机器人手臂掩码构建KL基于的运动定位监督，而推理阶段仅使用当前观察。

关键创新：MotionWeave的核心创新在于其运动中心的动态预测方法，能够有效地将动作与局部视觉变化对应起来，克服了传统方法在时间步特定对应关系上的不足。

关键设计：在设计上，AIMG和HRC模块的参数设置经过精心调整，以确保运动线索的有效提取和注入。此外，损失函数采用KL散度，确保模型在训练过程中能够准确学习到运动定位的监督信息。整体网络结构设计旨在提高模型对复杂动态场景的适应能力。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

在六个MetaWorld任务中，MotionWeave实现了75.3%的平均成功率，相较于基线π0（66.7%）提升了8.6%。特别是在持续交互任务中，模型表现出色，显示出其在动态环境中的有效性。

🎯 应用场景

该研究的潜在应用领域包括机器人控制、自动驾驶、虚拟现实等需要动态交互的场景。通过精确预测未来动态，MotionWeave能够提升机器人在复杂环境中的决策能力，具有重要的实际价值和未来影响。

📄 摘要（原文）

Vision-Language-Action (VLA) models have recently incorporated world models to provide richer dynamic supervision beyond sparse action labels. However, explicitly predicting future images or videos may include control-irrelevant appearance, while guidance derived from holistic future visual representations and shared global action features may fail to establish timestep-specific correspondence between actions and local visual changes. To address this issue, we propose MotionWeave, a motion-centric future-dynamics framework for action-chunk prediction with two modules: the Action-Induced Motion Grounder (AIMG) and the Horizon Residual Composer (HRC). Specifically, AIMG conditions on action and proprioceptive representations to construct horizon-specific queries that localize interaction regions associated with each future action timestep from current visual tokens. HRC extracts differences between interaction representations at adjacent horizons, encodes them as temporal motion cues, and injects them into action tokens through a gated residual. During training, robot-arm masks rendered from future frames are used to construct KL-based motion-grounding supervision, while inference uses only the current observation. On six MetaWorld tasks, MotionWeave achieves a 75.3% average success rate, an absolute gain of 8.6% over π0 (66.7%), especially on sustained-interaction tasks. Our code is available at https://github.com/autu-mn/MotionWeave.