PhysWAM: Physically Consistent World Action Model for Autonomous Driving

📄 arXiv: 2609.37970v1 📥 PDF

作者: Dhruv Parikh, Fengcheng Yu, Quankai Gao, Jiawei Yang, Junjie Ye, Maulik Bhatt, Thang Vu, Charles Ochoa, Rowan McAllister, Igor Vasiljevic, Rajgopal Kannan, Viktor Prasanna, Vitor Guizilini, Yue Wang

分类: cs.RO, cs.CV

发布日期: 2026-09-29

备注: Technical Report

💡 一句话要点

提出PhysWAM以解决自主驾驶中的世界与行动建模问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 世界行动模型 自主驾驶 几何约束 深度预测 流匹配变换器 耦合点投影 多视角视频

📋 核心要点

  1. 现有的世界行动模型在生成场景演变和智能体行为时，缺乏有效的几何约束，导致物理一致性不足。
  2. 本文提出PhysWAM，通过耦合点投影（CPP）将生成的深度与自我运动结合，确保生成结果与实际场景几何一致。
  3. PhysWAM在NAVSIM v1和v2规划、零-shot闭环迁移及未来视频和度量深度预测中表现优异，展示了强大的规划能力和准确的度量深度生成。

📝 摘要（中文）

世界行动模型（WAMs）共同预测场景演变及智能体行为，但现有方法未必能对这些预测施加共享几何约束。本文提出PhysWAM，一种统一的自主驾驶世界行动模型，能够在单一流匹配变换器中共同去噪多视角视频、度量深度和自我运动。为将世界和行动生成与测量场景几何相结合，本文引入了耦合点投影（CPP），该方法将生成的深度反投影为3D点，利用生成的$ ext{SE}(3)$自我运动进行变换，并最小化其与使用记录自我运动变换的LiDAR点之间的距离。这种几何约束通过联合监督生成的深度和运动，促进了与测量场景的物理一致性。实验结果表明，PhysWAM在规划性能上表现出色，并能在未见驾驶环境中实现零-shot迁移。

🔬 方法详解

问题定义：本文旨在解决现有世界行动模型在自主驾驶中缺乏几何约束的问题，导致生成的场景演变和智能体行为缺乏物理一致性。

核心思路：提出PhysWAM，通过耦合点投影（CPP）将生成的深度与自我运动结合，确保生成的世界和行动模型在几何上相互一致。

技术框架：PhysWAM采用单一流匹配变换器架构，包含多视角视频去噪、度量深度生成和自我运动估计等模块，所有模块在同一框架下协同工作。

关键创新：耦合点投影（CPP）是本文的核心创新，通过将生成的深度反投影为3D点并与LiDAR点进行几何对齐，确保了生成结果的物理一致性。

关键设计：在损失函数设计上，结合了生成深度与运动的标准流匹配目标，并通过最小化生成点与LiDAR点之间的距离来强化几何约束。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在实验中，PhysWAM在NAVSIM v1和v2规划任务中表现出色，尽管采用了简单的选择程序，但仍实现了强大的规划性能，并在未见驾驶环境中成功进行了零-shot迁移。生成的度量深度和视频具有较高的准确性和时间一致性，CPP显著提升了规划和深度预测的效果。

🎯 应用场景

PhysWAM在自主驾驶领域具有广泛的应用潜力，能够提高自动驾驶系统在复杂环境中的决策能力和安全性。通过提供准确的场景理解和智能体行为预测，PhysWAM可以为未来的智能交通系统和自动驾驶车辆的开发提供重要支持。

📄 摘要（原文）

World-action models (WAMs) jointly predict how a scene will evolve and how an agent should act, however joint generation alone does not necessarily impose a shared geometric constraint on these predictions. We present PhysWAM, a unified world-action model for autonomous driving that co-denoises multiview video, metric depth, and ego motion within a single flow-matching transformer. To ground world and action generation in measured scene geometry, we introduce Coupled Point Projection (CPP) that unprojects the generated depth into 3D points, transforms them using the generated $\mathrm{SE}(3)$ ego motion, and minimizes their distance to LiDAR points transformed using the recorded ego motion. This geometric constraint promotes physical consistency with the measured scene by jointly supervising generated depth and motion alongside their standard flow-matching objectives. At inference, trajectory selection relies only on a simple label-free consensus rule, with no learned scorer or simulator feedback. We evaluate PhysWAM across NAVSIM v1 and v2 planning, zero-shot closed-loop transfer, and future video and metric-depth prediction. Despite PhysWAM's simple selection procedure, it achieves strong planning performance and transfers zero-shot to unseen driving environments. It also generates accurate metric depth and temporally coherent video, with CPP improving both planning and depth prediction. Together, these results demonstrate that the geometric relationship between scene depth and ego motion provides a direct way to couple world and action generation within a simple unified model.