FutureVLA: Joint Visuomotor Prediction for Vision-Language-Action Model
作者: Xiaoxu Xu, Hao Li, Jinhui Ye, Yilun Chen, Jia Zeng, Xinyi Chen, Linning Xu, Dahua Lin, Weixin Li, Jiangmiao Pang
分类: cs.RO
发布日期: 2026-03-11
💡 一句话要点
FutureVLA：面向视觉-语言-动作模型的联合视动预测，提升具身智能体未来预判能力。
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 视觉-语言-动作模型 视动预测 具身智能 物理先验 联合嵌入
📋 核心要点
- 现有视觉-语言-动作模型在联合建模视觉感知与运动执行的相互作用方面存在困难，无法有效预测未来。
- FutureVLA通过解耦视觉和运动信息，并联合编码广义物理先验，从而提取更具泛化性的联合视动嵌入。
- 实验表明，FutureVLA能够持续提升现有VLA框架的性能，证明了其在视动预测方面的有效性。
📝 摘要（中文）
预测性预见对于智能具身智能体至关重要。由于机器人的运动执行本质上受到其对环境几何形状的视觉感知的约束，因此有效地预测未来需要捕捉这种紧密耦合的视动相互作用。虽然最近的视觉-语言-动作模型试图结合未来指导，但它们难以进行这种联合建模。现有的显式方法将能力转移到与任务无关的视觉细节上，而依赖于稀疏帧对的隐式方法则破坏了时间连续性。通过严重依赖视觉重建，这些方法变得以视觉为主导，将静态场景上下文与动态动作意图纠缠在一起。我们认为，有效的联合视动预测建模需要时间和视觉条件下的解耦监督。为此，我们提出了FutureVLA，它具有一种新颖的联合视动预测架构。FutureVLA旨在通过首先解耦视觉和运动信息，然后联合编码广义物理先验来提取联合视动嵌入。具体来说，在预训练阶段，我们利用异构操作数据集，并引入一种联合视动门控机制，以在结构上将视觉状态保持与时间动作建模分开。它允许运动流专注于连续的物理动力学，同时显式地查询视觉token以获取环境约束，从而产生高度通用的联合视动嵌入。随后，在后训练阶段，我们采用一种潜在嵌入对齐策略，使各种下游VLA模型能够在不修改其推理架构的情况下内化这些时间先验。大量的实验表明，FutureVLA始终如一地改进了VLA框架。
🔬 方法详解
问题定义：现有视觉-语言-动作模型（VLA）难以有效捕捉视觉感知与运动执行之间的紧密耦合关系，导致预测未来能力不足。现有方法要么将计算资源浪费在不相关的视觉细节上，要么破坏了时间连续性，或者过度依赖视觉重建，将静态场景与动态动作意图混淆。
核心思路：FutureVLA的核心思路是解耦视觉和运动信息，然后联合编码广义物理先验。通过这种方式，模型可以更好地理解环境约束，并专注于连续的物理动力学，从而更准确地预测未来。这种解耦和重组的方式避免了现有方法中视觉信息过度主导的问题。
技术框架：FutureVLA包含预训练和后训练两个阶段。在预训练阶段，利用异构操作数据集，通过联合视动门控机制，将视觉状态保持与时间动作建模在结构上分离。在后训练阶段，采用潜在嵌入对齐策略，使下游VLA模型能够在不修改推理架构的情况下，利用预训练得到的时序先验。
关键创新：FutureVLA的关键创新在于联合视动门控机制（Joint Visuomotor Gating）。该机制允许运动流专注于连续的物理动力学，同时显式地查询视觉token以获取环境约束。这种结构化的解耦和交互方式，使得模型能够学习到更具泛化性的联合视动嵌入。
关键设计：联合视动门控机制的具体实现细节未知，但其核心思想是通过门控机制控制视觉信息对运动建模的影响，从而避免视觉信息的过度干扰。潜在嵌入对齐策略的具体实现细节也未知，但其目标是使预训练得到的嵌入能够无缝集成到下游VLA模型中。
🖼️ 关键图片
📊 实验亮点
论文通过大量实验验证了FutureVLA的有效性，结果表明FutureVLA能够持续提升现有VLA框架的性能。具体的性能数据和提升幅度在摘要中没有明确给出，但强调了其在不同VLA框架上的通用性和一致性提升。
🎯 应用场景
FutureVLA的研究成果可应用于机器人操作、自动驾驶、虚拟现实等领域。通过提升机器人对未来状态的预测能力，可以使其更好地适应复杂环境，完成更复杂的任务，例如更智能的家庭服务机器人、更安全的自动驾驶系统等。该研究还有助于提升虚拟环境中智能体的交互能力，使其行为更加自然和可预测。
📄 摘要（原文）
Predictive foresight is important to intelligent embodied agents. Since the motor execution of a robot is intrinsically constrained by its visual perception of environmental geometry, effectively anticipating the future requires capturing this tightly coupled visuomotor interplay. While recent vision-language-action models attempt to incorporate future guidance, they struggle with this joint modeling. Existing explicit methods divert capacity to task-irrelevant visual details, whereas implicit methods relying on sparse frame pairs disrupt temporal continuity. By heavily relying on visual reconstruction, these methods become visually dominated, entangling static scene context with dynamic action intent. We argue that effective joint visuomotor predictive modeling requires both temporal continuity and visually-conditioned supervision decoupling. To this end, we propose FutureVLA, featuring a novel Joint Visuomotor Predictive Architecture. FutureVLA is designed to extract joint visuomotor embeddings by first decoupling visual and motor information, and then jointly encoding generalized physical priors. Specifically, in the pretraining stage, we leverage heterogeneous manipulation datasets and introduce a Joint Visuomotor Gating mechanism to structurally separate visual state preservation from temporal action modeling. It allows the motor stream to focus on continuous physical dynamics while explicitly querying visual tokens for environmental constraints, yielding highly generalizable joint visuomotor embeddings. Subsequently, in the post-training stage, we employ a latent embeddings alignment strategy, enabling diverse downstream VLA models to internalize these temporal priors without modifying their inference architectures. Extensive experiments demonstrate that FutureVLA consistently improves VLA frameworks.