V2X-WAM: A Cooperative World Action Model for End-to-End Autonomous Driving

📄 arXiv: 2609.37098v1 📥 PDF

作者: Junwei You, Weizhe Tang, Can Wang, Yan Zhao, Jun Hua, Haotian Shi, Wei Zhang, Lin Wang, Bin Ran

分类: cs.RO, cs.CV

发布日期: 2026-09-29

💡 一句话要点

提出V2X-WAM以解决未来交通环境预测不足的问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics) 支柱八：物理动画 (Physics-based Animation) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 自动驾驶 车辆与基础设施合作 未来世界预测 多模态规划 时空表示

📋 核心要点

  1. 现有的合作驾驶方法主要依赖路边信息，缺乏对未来交通环境的有效建模，限制了规划者的决策能力。
  2. V2X-WAM通过结合合作场景理解、动作生成和未来世界推理，构建可靠的时空表示并优化轨迹规划。
  3. 实验结果显示，V2X-WAM在规划准确性、安全性和未来世界预测上均优于现有方法，同时降低了通信开销。

📝 摘要（中文）

车辆与基础设施的合作可以通过更广泛和更具信息量的交通环境观察来补充车载传感器，为端到端的自动驾驶提供有价值的支持。然而，现有的合作驾驶方法主要利用路边信息来增强当前场景的表示，而对未来驾驶行为的后果建模却很少。这限制了规划者预测其决策如何与不断变化的交通环境相互作用的能力。为了解决这一问题，本文提出了V2X-WAM，一个紧密结合合作场景理解、动作生成和未来世界推理的合作世界动作模型。V2X-WAM从车辆和基础设施的观察中构建一个可靠的时空表示，同时将基础设施信息压缩为紧凑的量化消息以实现高效通信。基于此合作表示，多模态规划器生成前瞻性轨迹，明确条件未来的占用和动态流预测。预测的世界后果随后反馈以优化规划轨迹，形成动作与未来世界演变之间的闭环交互。实验表明，V2X-WAM在规划准确性和安全性上均优于代表性的端到端合作驾驶方法，同时实现更强的未来世界预测和显著降低的通信开销。

🔬 方法详解

问题定义：本文旨在解决现有合作驾驶方法在未来交通环境预测方面的不足，尤其是如何有效建模未来驾驶行为的后果。现有方法往往只关注当前场景，缺乏对未来动态的全面理解。

核心思路：V2X-WAM的核心思路是通过整合车辆与基础设施的观察，构建一个可靠的时空表示，并利用这一表示生成前瞻性轨迹，从而实现对未来世界的有效推理与反馈。

技术框架：该方法的整体架构包括三个主要模块：合作场景理解模块、动作生成模块和未来世界推理模块。首先，收集车辆和基础设施的数据，构建时空表示；然后，基于该表示生成轨迹；最后，通过反馈机制优化轨迹规划。

关键创新：V2X-WAM的最大创新在于将合作场景理解、动作生成和未来世界推理紧密结合，形成一个闭环交互系统。这种设计使得系统能够实时适应不断变化的交通环境，显著提高了规划的准确性和安全性。

关键设计：在技术细节上，V2X-WAM采用了可靠性感知的时空表示，利用量化消息进行高效通信。此外，规划器使用多模态方法生成轨迹，并通过特定的损失函数优化未来占用和动态流的预测。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，V2X-WAM在规划准确性和安全性上相较于代表性的端到端合作驾驶方法有显著提升，具体表现为规划准确性提高了XX%，安全性提升了XX%。同时，未来世界预测的准确性也得到了增强，通信开销显著降低，提升幅度达到XX%。

🎯 应用场景

V2X-WAM的研究成果在自动驾驶领域具有广泛的应用潜力，特别是在城市交通管理、智能交通系统和车联网（V2X）技术中。通过提升车辆与基础设施的协同工作能力，该模型能够有效提高自动驾驶的安全性和效率，推动智能交通的发展。

📄 摘要（原文）

Vehicle-infrastructure cooperation can complement onboard sensing with broader and more informative observations of the traffic environment, providing valuable support for end-to-end autonomous driving. However, existing cooperative driving methods mainly exploit roadside information to enhance the representation of the current scene, while the future consequences of prospective driving actions are rarely modeled explicitly. This limits the ability of the planner to anticipate how its decisions may interact with the evolving traffic environment. To address this issue, we propose V2X-WAM, a cooperative world action model that tightly couples cooperative scene understanding, action generation, and future-world reasoning. V2X-WAM constructs a reliability-aware spatiotemporal representation from vehicle- and infrastructure-side observations, while compressing infrastructure information into a compact quantized message for efficient communication. Based on the resulting cooperative representation, a multimodal planner generates prospective trajectories, which explicitly condition future occupancy and dynamic-flow prediction. The predicted world consequences are then fed back to refine the planned trajectory, forming a closed interaction between action and future-world evolution. Experiments on a large-scale real-world cooperative driving dataset demonstrate that V2X-WAM consistently improves planning accuracy and safety over representative end-to-end cooperative driving methods, while achieving stronger future-world prediction and substantially lower communication overhead. Ablation studies further validate the effectiveness of the proposed design.