An Efficient Occupancy World Model via Decoupled Dynamic Flow and Image-assisted Training

📄 arXiv: 2412.13772v1 📥 PDF

作者: Haiming Zhang, Ying Xue, Xu Yan, Jiacheng Zhang, Weichao Qiu, Dongfeng Bai, Bingbing Liu, Shuguang Cui, Zhen Li

分类: cs.CV

发布日期: 2024-12-18

💡 一句话要点

提出DFIT-OccWorld，通过解耦动态流和图像辅助训练，高效预测4D occupancy世界模型。

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 世界模型 4D Occupancy预测 动态流 图像辅助训练 可微渲染 自动驾驶 场景预测

📋 核心要点

  1. 现有世界模型训练复杂，通常采用多阶段训练，效率较低，难以满足自动驾驶实时性需求。
  2. DFIT-OccWorld将occupancy预测解耦为体素扭曲过程，利用动态流预测动态体素，位姿变换获取静态体素，简化训练。
  3. 引入图像辅助训练，通过可微渲染生成深度图，并利用光度一致性损失，提升预测可靠性，并在多个benchmark上取得SOTA。

📝 摘要（中文）

本文提出了一种高效的3D occupancy世界模型DFIT-OccWorld，该模型利用解耦的动态流和图像辅助训练策略，显著提升了4D场景预测性能。为了简化训练过程，该方法摒弃了以往的两阶段训练策略，创新性地将occupancy预测问题重新定义为解耦的体素扭曲过程。模型通过体素流扭曲现有观测来预测未来的动态体素，而静态体素则通过位姿变换轻松获得。此外，该方法还结合了图像辅助训练范式，以增强预测的可靠性。具体而言，采用可微体积渲染通过预测的未来体素生成渲染的深度图，并将其用于基于渲染的光度一致性。实验表明，该方法在nuScenes和OpenScene基准测试中，在4D occupancy预测、端到端运动规划和点云预测方面均表现出最先进的性能，并且计算成本显著降低。

🔬 方法详解

问题定义：现有3D世界模型，特别是用于自动驾驶场景的occupancy预测模型，通常面临训练复杂、计算成本高昂的问题。传统的两阶段训练策略增加了训练的难度和时间。此外，如何有效地利用多模态数据（如图像和点云）来提高预测的准确性和鲁棒性也是一个挑战。

核心思路：DFIT-OccWorld的核心思路是将4D occupancy预测问题分解为两个更易于处理的子问题：动态体素预测和静态体素预测。动态体素通过体素流（voxel flow）来扭曲现有的观测得到，而静态体素则通过简单的位姿变换获得。这种解耦的方式简化了训练过程，并允许模型更专注于学习动态环境的变化。同时，引入图像辅助训练，利用可微渲染技术，将预测的3D occupancy投影到2D图像空间，并通过光度一致性损失来约束预测结果。

技术框架：DFIT-OccWorld的整体框架包括以下几个主要模块：1) 特征提取模块：从历史观测数据（如点云）中提取特征。2) 动态流预测模块：预测体素级别的运动流，用于扭曲现有的体素。3) 静态体素变换模块：根据车辆的位姿变化，变换静态体素的位置。4) occupancy融合模块：将动态和静态体素融合，得到最终的occupancy预测结果。5) 图像渲染模块：将预测的3D occupancy渲染成2D深度图。6) 光度一致性损失计算模块：计算渲染的深度图与真实深度图之间的光度一致性损失。

关键创新：该方法最重要的技术创新点在于解耦的动态流和图像辅助训练策略。通过解耦动态和静态体素的预测，简化了训练过程，并提高了预测的效率。图像辅助训练则利用了2D图像的丰富信息，增强了预测的可靠性。与现有方法相比，DFIT-OccWorld避免了复杂的两阶段训练，并能够更有效地利用多模态数据。

关键设计：在动态流预测模块中，使用了3D卷积神经网络来预测体素级别的运动流。在图像渲染模块中，采用了可微体积渲染技术，允许梯度从2D图像空间反向传播到3D occupancy空间。光度一致性损失采用了L1损失和SSIM损失的组合，以提高对光照变化的鲁棒性。网络结构和超参数的选择经过了大量的实验验证。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

DFIT-OccWorld在nuScenes和OpenScene基准测试中取得了state-of-the-art的性能。与现有3D世界模型相比，该方法在4D occupancy预测、端到端运动规划和点云预测方面均表现出显著的优势，同时计算成本显著降低。具体性能数据在论文中详细给出。

🎯 应用场景

DFIT-OccWorld可应用于自动驾驶、机器人导航、增强现实等领域。在自动驾驶中，它可以帮助车辆预测周围环境的未来状态，从而做出更安全、更合理的决策。在机器人导航中，它可以帮助机器人理解和预测环境的变化，从而更好地规划路径。在增强现实中，它可以帮助将虚拟物体与真实环境更好地融合。

📄 摘要（原文）

The field of autonomous driving is experiencing a surge of interest in world models, which aim to predict potential future scenarios based on historical observations. In this paper, we introduce DFIT-OccWorld, an efficient 3D occupancy world model that leverages decoupled dynamic flow and image-assisted training strategy, substantially improving 4D scene forecasting performance. To simplify the training process, we discard the previous two-stage training strategy and innovatively reformulate the occupancy forecasting problem as a decoupled voxels warping process. Our model forecasts future dynamic voxels by warping existing observations using voxel flow, whereas static voxels are easily obtained through pose transformation. Moreover, our method incorporates an image-assisted training paradigm to enhance prediction reliability. Specifically, differentiable volume rendering is adopted to generate rendered depth maps through predicted future volumes, which are adopted in render-based photometric consistency. Experiments demonstrate the effectiveness of our approach, showcasing its state-of-the-art performance on the nuScenes and OpenScene benchmarks for 4D occupancy forecasting, end-to-end motion planning and point cloud forecasting. Concretely, it achieves state-of-the-art performances compared to existing 3D world models while incurring substantially lower computational costs.