Diffusion-FS: Multimodal Free-Space Prediction via Diffusion for Autonomous Driving
作者: Keshav Gupta, Tejas S. Stanley, Pranjal Paul, Arun K. Singh, K. Madhava Krishna
分类: cs.CV, cs.RO
发布日期: 2025-07-24
备注: 8 pages, 7 figures, IROS 2025
💡 一句话要点
提出Diffusion-FS，通过扩散模型进行多模态自由空间预测，用于自动驾驶。
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 自动驾驶 自由空间预测 扩散模型 自监督学习 单目视觉
📋 核心要点
- 现有方法难以获取BEV表示，且图像中缺乏自由空间走廊段的对应数据，限制了单目图像自由空间预测。
- 利用未来自车轨迹和前视图像，自监督生成自由空间样本，并使用扩散模型学习图像中走廊段的分布。
- 提出ContourDiff，一种基于轮廓点去噪的扩散架构，避免了二元掩码的局限性，实现结构化预测。
📝 摘要（中文）
在自动驾驶中，可行驶自由空间预测是一个基础且至关重要的问题。现有工作通常将整个非障碍物道路区域表示为自由空间。与此不同，本文旨在估计驾驶走廊，即整个道路区域中可导航的子集。现有的走廊估计方法通常直接假设以BEV为中心的表示，而这种表示难以获得。因此，本文将可行驶自由空间走廊预测定义为一个纯图像感知任务，仅使用单目相机输入。这种方法面临诸多挑战，因为图像中缺乏自由空间走廊段的对应数据。为此，本文提出了一种新颖的自监督方法，通过利用未来的自车轨迹和前视相机图像来生成自由空间样本，使得视觉走廊估计过程依赖于自车轨迹。然后，采用扩散过程来建模图像中这些段的分布。然而，现有的基于二元掩码的段表示存在诸多限制。因此，本文引入了ContourDiff，一种专门的基于扩散的架构，它对轮廓点进行去噪，而不是依赖于二元掩码表示，从而实现结构化和可解释的自由空间预测。在nuScenes和CARLA上的定性和定量评估表明，该方法能够准确预测图像中安全的多模态可导航走廊。
🔬 方法详解
问题定义：论文旨在解决自动驾驶场景下，仅使用单目相机图像进行可行驶自由空间走廊预测的问题。现有方法通常依赖于BEV表示，而BEV表示的获取较为困难。此外，直接在图像空间中进行自由空间预测缺乏对应的训练数据，导致模型难以学习。
核心思路：论文的核心思路是将自由空间走廊预测问题转化为一个图像感知任务，并利用自监督学习方法生成训练数据。通过未来的自车轨迹和前视图像，可以推断出哪些区域是可行驶的，从而生成自由空间样本。然后，使用扩散模型学习这些自由空间样本在图像中的分布。
技术框架：整体框架包含两个主要阶段：1) 自监督自由空间样本生成阶段：利用未来的自车轨迹和前视图像，生成图像中的自由空间走廊段。2) 基于扩散模型的自由空间预测阶段：使用扩散模型学习自由空间走廊段的分布，并预测图像中的可行驶区域。ContourDiff架构用于实现基于轮廓点的去噪过程。
关键创新：论文的关键创新在于：1) 提出了一个自监督的自由空间样本生成方法，解决了缺乏训练数据的问题。2) 提出了ContourDiff架构，使用轮廓点表示自由空间，并使用扩散模型进行去噪，避免了二元掩码的局限性，实现了结构化和可解释的预测。3) 将自由空间走廊预测问题转化为一个纯图像感知任务，避免了对BEV表示的依赖。
关键设计：自监督样本生成：利用未来N帧的自车轨迹，将轨迹投影到当前图像中，并将轨迹周围的区域标记为自由空间。扩散模型：使用标准的扩散模型框架，但将二元掩码替换为轮廓点表示。ContourDiff架构：使用U-Net结构作为扩散模型的去噪网络，并针对轮廓点表示进行了优化。损失函数：使用L2损失函数来衡量预测轮廓点和真实轮廓点之间的距离。
🖼️ 关键图片
📊 实验亮点
论文在nuScenes和CARLA数据集上进行了实验验证，结果表明该方法能够准确预测图像中安全的多模态可导航走廊。相较于直接预测二元掩码的方法，ContourDiff能够生成更清晰、更结构化的自由空间预测结果，从而提升自动驾驶系统的性能。
🎯 应用场景
该研究成果可应用于自动驾驶系统的感知模块，提高车辆对周围环境的理解能力，从而提升自动驾驶的安全性和可靠性。尤其在城市复杂道路环境中，精确的自由空间预测能够帮助车辆更好地规划行驶路径，避免碰撞。
📄 摘要（原文）
Drivable Free-space prediction is a fundamental and crucial problem in autonomous driving. Recent works have addressed the problem by representing the entire non-obstacle road regions as the free-space. In contrast our aim is to estimate the driving corridors that are a navigable subset of the entire road region. Unfortunately, existing corridor estimation methods directly assume a BEV-centric representation, which is hard to obtain. In contrast, we frame drivable free-space corridor prediction as a pure image perception task, using only monocular camera input. However such a formulation poses several challenges as one doesn't have the corresponding data for such free-space corridor segments in the image. Consequently, we develop a novel self-supervised approach for free-space sample generation by leveraging future ego trajectories and front-view camera images, making the process of visual corridor estimation dependent on the ego trajectory. We then employ a diffusion process to model the distribution of such segments in the image. However, the existing binary mask-based representation for a segment poses many limitations. Therefore, we introduce ContourDiff, a specialized diffusion-based architecture that denoises over contour points rather than relying on binary mask representations, enabling structured and interpretable free-space predictions. We evaluate our approach qualitatively and quantitatively on both nuScenes and CARLA, demonstrating its effectiveness in accurately predicting safe multimodal navigable corridors in the image.