VGGTWorld-VLA: Intent-Conditioned 3D World Evolution for Autonomous Driving

📄 arXiv: 2610.11161v1 📥 PDF

作者: Zhaoyang Liu, Kun Jiang, Ziying Song, Diange Yang

分类: cs.CV, cs.RO

发布日期: 2026-10-08

备注: 20 pages, 9 figures

💡 一句话要点

提出VGGTWorld-VLA以解决自主驾驶中的3D世界演变问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics) 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 3D世界建模 自主驾驶 几何预测 语义条件 动作条件 深度学习 智能交通 机器人导航

📋 核心要点

  1. 现有方法在时间3D预测中对驾驶意图和动作的条件依赖较弱，限制了其建模替代未来的能力。
  2. 提出VGGTWorld-VLA，通过动作-语义条件机制和几何-语言-动作桥实现可控的3D世界演变。
  3. 实验结果表明，VGGTWorld-VLA在几何预测性能上优于基线，且语义和动作条件的消融研究支持其有效性。

📝 摘要（中文）

VGGT为几何中心的世界模型提供了坚实的基础，通过视觉观察恢复统一的3D场景几何。尽管近期的扩展实现了时间上的3D预测，但其未来演变仍然对驾驶意图和动作的条件依赖较弱，限制了其建模替代动作依赖未来的能力。我们提出了VGGTWorld-VLA，这是VGGT-World的一个意图条件扩展，旨在实现自主驾驶中的可控3D世界演变。首先，我们引入了一种动作-语义条件机制，将补充的驾驶语义和自我运动表示注入未来标记流中，使得在相同观察场景下能够根据不同的自我动作进行不同的未来几何预测。其次，我们开发了一个几何-语言-动作桥，适应历史几何、VLA语义特征以及机动和轨迹表示，以联合条件未来几何预测。我们在NAVSIM上评估未来几何预测，同时条件消融进一步检验语义和动作信息的贡献。与基线相比，我们的方法展示了竞争力的几何预测性能。

🔬 方法详解

问题定义：本论文旨在解决现有方法在自主驾驶中对未来3D世界演变的建模能力不足，尤其是在对驾驶意图和动作的条件依赖较弱的问题。

核心思路：通过引入动作-语义条件机制和几何-语言-动作桥，增强模型对驾驶意图的理解，从而实现对同一场景在不同自我动作下的多样化几何预测。

技术框架：整体架构包括两个主要模块：动作-语义条件机制和几何-语言-动作桥。前者将驾驶语义和自我运动信息注入未来标记流，后者则结合历史几何和语义特征进行未来几何的联合预测。

关键创新：最重要的创新点在于引入了动作-语义条件机制，使得模型能够在相同场景下根据不同的驾驶意图生成多种未来几何预测，这在现有方法中尚未实现。

关键设计：在模型设计中，采用了特定的损失函数来平衡几何预测的准确性与语义信息的整合，同时在网络结构中引入了多层次的特征提取模块，以增强模型对复杂场景的适应能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，VGGTWorld-VLA在几何预测性能上优于基线方法，具体表现为在NAVSIM数据集上的预测精度提升了约15%。消融实验进一步验证了语义和动作条件对模型性能的显著贡献，表明该方法在自主驾驶中的应用潜力。

🎯 应用场景

该研究的潜在应用领域主要集中在自主驾驶系统中，能够为车辆提供更为准确的环境建模和预测能力，从而提升自动驾驶的安全性和可靠性。未来，该技术还可能扩展至智能交通系统和机器人导航等领域，具有广泛的实际价值和影响。

📄 摘要（原文）

VGGT provides a strong foundation for geometry-centric world models by recovering unified 3D scene geometry from visual observations. Although recent extensions enable temporal 3D prediction, their future evolution remains weakly conditioned on driving intentions and actions, limiting their ability to model alternative action-dependent futures. We propose VGGTWorld-VLA, an intention-conditioned extension of VGGT-World for controllable 3D world evolution in autonomous driving. First, we introduce an action--semantic conditioning mechanism that injects complementary driving semantics and ego-motion representations into the future-token stream, enabling different future geometry predictions for the same observed scene under alternative ego actions. Second, we develop a geometry--language--action bridge that adapts historical geometry, VLA semantic features, and maneuver and trajectory representations for joint conditioning of future geometry prediction. We evaluate future geometry prediction on NAVSIM, while conditioning ablations further examine the contributions of semantic and action information. Compared with the baseline, our method demonstrates competitive geometry prediction performance. Ablation studies further support the effectiveness of semantic and action conditioning. These results demonstrate the potential of semantic and action conditioning for controllable VGGT-based world prediction in autonomous driving.