AffordDrive3D: Affordance-Aware World-Action Modeling with Spatial Understanding

📄 arXiv: 2610.11060v1 📥 PDF

作者: Tianhui Cai, Xinglong Sun, Chao Fang, Zhenxin Li, Rui Song, Jose M. Alvarez, Yunxiang Mao, Jiaqi Ma, Langechuan Liu

分类: cs.CV, cs.AI

发布日期: 2026-10-08

💡 一句话要点

提出AffordDrive3D以解决自主驾驶中的空间理解问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics) 支柱五：交互与反应 (Interaction & Reaction)

关键词: 自主驾驶 空间理解 世界-动作模型 几何预测 可用性建模 轨迹规划 深度学习

📋 核心要点

  1. 现有方法主要依赖RGB外观进行未来场景建模，缺乏对与自我车辆动作相关区域的明确识别。
  2. 本文提出AffordDrive3D模型，通过联合学习未来动作相关区域和空间结构，提升自主驾驶的空间理解能力。
  3. 在NAVSIM数据集上，AffordDrive3D达到了91.3的PDMS和89.9的EPDMS，展现出显著的性能提升。

📝 摘要（中文）

世界-动作模型最近通过联合学习未来场景预测和轨迹生成，提升了自主驾驶的能力。现有方法主要通过RGB外观建模未来，尽管一些研究开始结合几何预测以改善空间理解，但仍未明确哪些区域与自我车辆的动作最相关。为此，本文提出AffordDrive3D，一个关注可用性和几何的世界-动作模型，能够联合学习未来的动作相关区域和空间结构。该模型基于VLM骨干网络，预测可驾驶区域和可能发生碰撞的关键区域，同时从RGB世界模型潜在空间中预测未来几何。在NAVSIM上，AffordDrive3D实现了91.3的PDMS和89.9的EPDMS，展示了联合建模未来可用性和几何在轨迹规划中的有效性。

🔬 方法详解

问题定义：本文旨在解决现有自主驾驶模型在空间理解方面的不足，尤其是缺乏对与车辆动作相关区域的识别，导致潜在的碰撞风险和不安全驾驶行为。

核心思路：AffordDrive3D模型通过结合可用性和几何信息，联合学习未来的动作相关区域和空间结构，从而为自主驾驶提供更全面的环境理解。

技术框架：该模型基于VLM骨干网络，主要包含两个模块：一是预测可驾驶区域和碰撞关键区域，二是从RGB世界模型潜在空间中预测未来几何。

关键创新：AffordDrive3D的创新之处在于其联合建模未来可用性和几何信息的能力，这与传统方法单一依赖视觉信息的方式有本质区别。

关键设计：模型的设计中采用了特定的损失函数来平衡可用性和几何预测的权重，同时在网络结构上进行了优化，以提高对复杂场景的适应能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

AffordDrive3D在NAVSIM数据集上取得了91.3的PDMS和89.9的EPDMS，超越了现有的基线模型，显示出在联合建模未来可用性和几何方面的显著优势，提升幅度明显。

🎯 应用场景

该研究在自主驾驶领域具有广泛的应用潜力，能够提升车辆在复杂环境中的决策能力，减少碰撞风险，增强安全性。未来，该模型可扩展到其他需要空间理解的机器人导航和智能交通系统中。

📄 摘要（原文）

World-action models have recently improved autonomous driving by jointly learning future scene prediction and trajectory generation. Most existing approaches model the future primarily through RGB appearance, and recent works have begun to incorporate geometric prediction to improve spatial understanding. However, dense geometry describes the spatial layout of the entire scene without indicating which parts are most relevant to the ego vehicle's action. For driving, the model must also identify and anticipate where it can safely move and which regions may pose collision risks. Jointly modeling action-relevant regions and future geometry can provide the policy with both driving-relevant cues and their corresponding spatial structure. We therefore propose AffordDrive3D, an affordance- and geometry-aware world-action model that jointly learns future action-relevant regions and spatial structure. In order to capture the scene semantics and driving context needed for driving affordance prediction, we build AffordDrive3D on a VLM backbone to forecast drivable areas and collision-critical regions that directly affect ego motion, while predicting future geometry from RGB world-model latents. On NAVSIM, AffordDrive3D achieves state-of-the-art performance with 91.3 PDMS and 89.9 EPDMS, demonstrating the effectiveness of jointly modeling future affordances and geometry for trajectory planning.