PLaW-VLA: Predictive Latent World Modeling for Vision-Language-Action Policies

📄 arXiv: 2610.12285v1 📥 PDF

作者: Yu Liu, Hetian Guo, Tianlv Huang, Ziyi Cai, Wudi Chen, Hantang Wang, Qiutong Liu, Yingzhi Peng, Wei Han, Peijun Tang, Jianan Wang, Zipei Fan, Zhiyuan Zha, Xuan Song

分类: cs.RO

发布日期: 2026-10-08

备注: Accepted to the 10th Conference on Robot Learning (CoRL 2026)

💡 一句话要点

提出PLaW-VLA以解决长时间控制中的世界预测问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 长时间控制 视觉-语言-动作 未来状态预测 混合变换器 结构化因果注意力

📋 核心要点

  1. 现有方法在长时间控制中对未来状态的预测依赖于低级视觉细节，导致计算负担重且泛化能力不足。
  2. PLaW-VLA通过在预训练的表示空间中建模任务相关的未来状态，减少对无关视觉细节的预测，从而提高了动作生成的效率。
  3. 实验结果显示，PLaW-VLA在多个基准测试中显著提升了策略性能，尤其是在长时间控制和分布变化下的泛化能力。

📝 摘要（中文）

学习预测世界如何演变可以为视觉-语言-动作（VLA）策略提供长时间控制的预测上下文，但其有效性依赖于未来表示的建模及其对动作生成的条件。我们提出PLaW-VLA，该方法在预训练的预测导向表示空间中建模任务相关的未来状态，减少了对控制无关视觉细节的预测需求。基于混合变换器架构，PLaW-VLA通过结构化因果注意力将动作生成条件化于观察历史、当前任务语义和预测的未来状态。实验表明，在RoboTwin Hard Horizon III上相较于反应式策略提升了11.8个百分点，在零-shot LIBERO-Plus上相较于重建导向的潜在预测提升了1.77个百分点，支持了在分布变化下的长时间控制和泛化能力。通过避免低级视觉重建，PLaW-VLA降低了未来预测的负担，使得轻量级潜在世界模型能够并行进行未来预测，推理延迟约为生成世界-动作建模的1/19，同时保持相当的策略性能。

🔬 方法详解

问题定义：本论文旨在解决长时间控制中对未来状态的预测问题，现有方法往往依赖于低级视觉细节，导致计算复杂度高且泛化能力差。

核心思路：PLaW-VLA的核心思路是通过在预训练的表示空间中建模任务相关的未来状态，减少对控制无关视觉细节的关注，从而提高动作生成的效率和准确性。

技术框架：PLaW-VLA基于混合变换器架构，主要模块包括观察历史、当前任务语义和预测未来状态的结构化因果注意力机制，这些模块共同作用于动作生成过程。

关键创新：PLaW-VLA的主要创新在于其通过结构化因果注意力将动作生成条件化于任务相关的未来状态，而非低级视觉重建，这一设计显著降低了未来预测的复杂性。

关键设计：在网络结构上，PLaW-VLA采用混合变换器架构，设置了特定的损失函数以优化任务相关的未来状态预测，并通过并行处理实现了高效的推理过程。实验中还对模型的参数进行了精细调优，以确保在不同任务上的表现。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，PLaW-VLA在RoboTwin Hard Horizon III上相较于反应式策略提升了11.8个百分点，在零-shot LIBERO-Plus上相较于重建导向的潜在预测提升了1.77个百分点，显著提高了长时间控制和在分布变化下的泛化能力。

🎯 应用场景

PLaW-VLA的研究成果在机器人控制、自动驾驶、智能家居等领域具有广泛的应用潜力。通过提高长时间控制的效率和准确性，该方法能够在复杂环境中实现更智能的决策和行为，推动智能系统的进一步发展。

📄 摘要（原文）

Learning to predict how the world evolves can provide vision-language-action (VLA) policies with predictive context for long-horizon control, but its effectiveness depends on what future representation is modeled and how it conditions action generation. We introduce PLaW-VLA, which models task-relevant future states in a pretrained prediction-oriented representation space, reducing the need to predict control-irrelevant visual details. Built on a Mixture-of-Transformers architecture, PLaW-VLA conditions action generation on observation history, current task semantics, and predicted future states through structured causal attention. Experiments show a +11.8 percentage-point (pp) gain over reactive policies on RoboTwin Hard Horizon III and a +1.77 pp gain over reconstruction-oriented latent prediction on zero-shot LIBERO-Plus, supporting improved long-horizon control and generalization under distribution shift, respectively. By avoiding low-level visual reconstruction, PLaW-VLA lowers the burden of future prediction, enabling a lightweight latent world model with parallel future prediction and about 1/19 the inference latency of generative world-action modeling at comparable policy performance.