FoMoVLA: Bridging Visual Foresight and Motion Guidance for Vision-Language-Action Models

📄 arXiv: 2607.14739v1 📥 PDF

作者: Wei Li, Peijin Jia, Yuan Ma, Xuefeng Jiang, Titong Jiang, Sheng Sun, Yujian Li, Xin Wen, Han Hong, Zhikang Liu, Bailin Li, Kun Zhan

分类: cs.CV, cs.AI

发布日期: 2026-07-16

备注: 12 pages, 7 figures, 8 tables. Project page: https://liauto-research.github.io/FoMoVLA

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出FoMoVLA以解决视觉预测与运动指导的结合问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉-语言-动作 动态预测 运动指导 稀疏点跟踪 多模态学习

📋 核心要点

  1. 现有的视觉-语言-动作模型在动态预测方面存在不足，主要依赖当前观察和语言进行反应性决策。
  2. FoMoVLA框架通过结合未来特征预测与稀疏2D点跟踪，提供了明确的运动路径指导，增强了模型的决策能力。
  3. 在多个基准数据集上进行的实验显示，FoMoVLA达到了最先进的性能，并展现出强大的零-shot泛化能力。

📝 摘要（中文）

视觉-语言-动作（VLA）模型在视觉运动策略学习中取得了显著成果，但仍然是反应性的，无法明确预测世界动态。现有的视觉预测方法虽然能够预测未来的视觉状态，但缺乏明确的运动指导。本文提出FoMoVLA框架，通过联合学习未来特征预测和稀疏2D点跟踪，增强了连续动作策略。FoMoVLA引入紧凑的预测标记来解码未来特征状态，并通过轻量级的未来条件交叉注意模块将两者结合，实现了对预期状态和点动态的一致推理。实验结果表明，该方法在LIBERO、RoboCasa GR-1 Tabletop和LIBERO-Plus上表现出色，具有强大的零-shot泛化能力。

🔬 方法详解

问题定义：本文旨在解决现有视觉-语言-动作模型在动态预测中的局限性，现有方法通常缺乏对未来状态的明确预测和运动路径的指导。

核心思路：FoMoVLA框架通过联合学习未来特征预测和稀疏2D点跟踪，提供了目标状态和运动路径的双重信息，从而增强了模型的连续动作决策能力。

技术框架：FoMoVLA的整体架构包括未来特征预测模块、稀疏2D点跟踪模块和未来条件交叉注意模块。前者负责解码未来状态，后者负责捕捉运动路径，两者通过交叉注意模块进行信息融合。

关键创新：FoMoVLA的主要创新在于引入了紧凑的预测标记和轻量级的交叉注意机制，使得模型能够在未来状态和运动动态之间进行一致推理，这在现有方法中是缺乏的。

关键设计：在模型设计中，采用了特定的损失函数来平衡未来特征预测和点跟踪的学习目标，同时在网络结构上进行了优化，以提高计算效率和预测精度。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在LIBERO、RoboCasa GR-1 Tabletop和LIBERO-Plus数据集上的实验结果表明，FoMoVLA在多个任务上均达到了最先进的性能，特别是在零-shot泛化能力上表现突出，相较于基线方法提升幅度达到XX%。

🎯 应用场景

FoMoVLA的研究成果在机器人控制、自动驾驶和人机交互等领域具有广泛的应用潜力。通过提供更准确的动态预测和运动指导，该模型能够提升自主系统的决策能力和适应性，推动智能系统的进一步发展。

📄 摘要（原文）

Vision-Language-Action (VLA) models have achieved impressive results in visuomotor policy learning, yet remain fundamentally reactive, mapping current observations and language to actions without explicit forward prediction of world dynamics. Existing visual foresight methods predict future visual states but lack explicit motion guidance: they show where to go but not how to get there. We argue that future feature prediction and sparse point tracking are naturally complementary: the former provides the goal state, while the latter captures the continuous motion path toward it. We propose FoMoVLA, a framework that augments VLA representations with explicit spatio-temporal supervision by jointly learning future feature foresight and sparse 2D point tracking, enhancing the continuous action policy. FoMoVLA introduces compact foresight tokens to decode future feature states, decodes sparse temporal 2D point trajectories to model compact geometric motion, and couples both through a lightweight future-conditioned cross-attention module that enables consistent reasoning between anticipated states and point dynamics. Extensive experiments on LIBERO, RoboCasa GR-1 Tabletop, and LIBERO-Plus demonstrate state-of-the-art performance and strong zero-shot generalization. Project page is available at https://liauto-research.github.io/FoMoVLA.