Geometry Without Coordinates: LiDAR Diffusion as a 3D Feature Bridge

📄 arXiv: 2609.10322v1 📥 PDF

作者: Samed Doğan, Nico Leuze, Alfred Schöttl

分类: cs.CV

发布日期: 2026-09-09

💡 一句话要点

提出基于LiDAR的扩散模型以解决3D特征提取问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: LiDAR 扩散模型 3D特征提取 语义分割 实例预测 多模态学习 深度学习

📋 核心要点

  1. 现有方法在将2D模型的知识有效转移到稀疏的3D LiDAR数据时面临数据和标注不足的挑战。
  2. 本文提出了一种LiDAR条件的扩散模型，通过2D基础模型生成伪标签进行训练，支持多种输出模式。
  3. 实验结果表明，该模型在3D语义分类任务中实现了约23%的平均交并比（MIoU），相比于高斯噪声对照组的3.5%有显著提升。

📝 摘要（中文）

将大型2D基础模型的丰富先验知识转移到稀疏的3D LiDAR数据上仍然具有挑战性，因为在数据和标注稀缺的情况下，训练原生的3D基础模型受到限制。本文提出了一种基于LiDAR的扩散模型，利用现成的2D基础模型生成的伪标签进行训练。该模型支持多种输出模式，包括深度、语义分割和实例预测，并可通过文本任务提示进行选择。由于模型以LiDAR为条件，其输出和中间UNet特征可以投影回输入点云，从而实现对完全在2D监督下学习的3D表示的分析。我们直接在点云空间中研究这种表示，明确排除原始空间坐标，以将特征内容与投影几何分离。

🔬 方法详解

问题定义：本文旨在解决如何有效将2D基础模型的知识转移到稀疏的3D LiDAR数据上，现有方法在数据和标注的稀缺性方面存在明显不足。

核心思路：提出了一种基于LiDAR的扩散模型，通过使用2D基础模型生成的伪标签进行训练，允许模型在没有大量3D标注的情况下学习3D特征。

技术框架：模型的整体架构包括输入的LiDAR点云、UNet结构的特征提取模块，以及多模态输出模块，支持深度、语义分割和实例预测等任务。

关键创新：最重要的创新在于通过LiDAR条件的扩散模型实现了在2D监督下学习到的结构化3D表示，突破了传统方法对空间坐标的依赖。

关键设计：模型设计中采用了特定的损失函数以优化多模态输出的对齐，UNet结构的层次设计使得不同层次的特征能够在任务中有效共享和重用。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，模型在3D语义分类任务中达到了约23%的平均交并比（MIoU），相比于高斯噪声对照组的3.5%有显著提升，表明该方法在结构化3D表示学习方面的有效性。

🎯 应用场景

该研究具有广泛的应用潜力，特别是在自动驾驶、机器人导航和城市建模等领域。通过有效提取和利用3D特征，该模型能够提升环境感知的准确性和效率，推动相关技术的发展与应用。

📄 摘要（原文）

Transferring the rich priors of large 2D foundation models to sparse 3D LiDAR remains challenging, as training native 3D foundation models at comparable scale is limited by data and annotation scarcity. We introduce a LiDAR-conditioned diffusion model trained on pseudo-labels from off-the-shelf 2D foundation models. The model supports multiple output modalities, including depth, semantic segmentation and instance prediction, selectable via a textual task prompt. Because the model is conditioned on LiDAR, both its outputs and its intermediate UNet features can be projected back onto the input point cloud, enabling analysis of a 3D representation learned entirely under 2D supervision. We study this representation directly in point-cloud space, explicitly excluding raw spatial coordinates to isolate feature content from projection geometry. Linear probes recover up to ~23% Mean Intersection over Union (MIoU) on 3D semantic classes, compared to ~3.5% for a matched Gaussian-noise control, indicating substantial non-trivial structure. Pairwise cosine similarity across modality-specific feature streams reveals a layered organization. Early encoder layers remain weakly aligned across modalities while individually decodable, intermediate layers converge toward a shared representation, and decoder layers re-specialize toward task-specific outputs. These findings indicate that LiDAR-conditioned diffusion models can induce structured 3D representations from 2D supervision alone, with a modality-dependent manifold that locally unifies near a shared bottleneck. This positions diffusion as a viable mechanism for transferring large-scale 2D priors into sparse 3D domains.