LiFi: LiDAR Generation from Multi-View Images via Geometric and Semantic Collaborative Guidance

📄 arXiv: 2610.19786v1 📥 PDF

作者: Sizhuo Zhou, Xiaosong Jia, Fanrui Zhang, Qifeng Li, Junjie Li, Zirui Wang, Yukang Feng, Yu Hong, Shaofeng Zhang, Wenlong Liao, Tao He, Juyong Zhang, Junchi Yan

分类: cs.CV, cs.AI

发布日期: 2026-10-14

备注: Accepted to NeurIPS 2026

🔗 代码/项目: GITHUB

💡 一句话要点

提出LiFi框架以解决多视角图像生成LiDAR点云问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱四：生成式动作 (Generative Motion)

关键词: LiDAR生成 多视角图像 几何语义融合 深度学习 点云生成

📋 核心要点

  1. 现有方法通常只关注图像中的语义线索或仅从单目相机图像生成LiDAR，导致生成的LiDAR质量有限。
  2. LiFi框架通过几何和语义两个分支协同工作，利用潜在扩散过程生成高质量的LiDAR点云。
  3. 实验表明，LiFi在生成高保真LiDAR场景方面显著优于现有方法，展示了其卓越的性能。

📝 摘要（中文）

从多视角相机图像生成LiDAR点云是一项具有重要应用价值的任务，然而现有方法在生成质量上存在局限。本文提出了LiFi（LiDAR From images）框架，专门用于从多视角图像生成视觉和几何对齐的LiDAR场景。LiFi通过几何和语义两个互补分支引导潜在扩散过程，几何分支利用反向采样算法和不确定性感知几何编码器构建场景特征，而语义分支则通过跨视角交互模块提供高层语义表示。实验结果表明，LiFi在生成高保真LiDAR场景方面优于现有最先进的方法。

🔬 方法详解

问题定义：本文旨在解决从多视角相机图像生成高质量LiDAR点云的问题。现有方法往往未针对这一任务进行优化，导致生成的LiDAR点云在质量和准确性上存在不足。

核心思路：LiFi框架通过几何和语义两个互补分支来引导潜在扩散过程，确保生成的LiDAR场景在视觉和几何上都能保持一致性。这样的设计使得模型能够同时利用图像的几何信息和语义信息，从而提升生成效果。

技术框架：LiFi的整体架构包括两个主要分支：几何分支和语义分支。几何分支通过反向采样算法和不确定性感知几何编码器提取场景特征，而语义分支则通过跨视角交互模块生成高层语义表示。两个分支通过一种双分支平衡的无分类器引导策略进行协同工作。

关键创新：LiFi的主要创新在于引入了双分支平衡的无分类器引导策略，这一策略增强了模型的条件生成能力，同时保持了两个分支的独立学习和协同控制能力。这与现有方法的单一视角或单一信息源生成方式形成了鲜明对比。

关键设计：在模型设计中，采用了DepthAnything3作为几何编码器，并结合了反向采样算法。此外，损失函数的设计也考虑了几何和语义信息的平衡，以确保生成结果的高质量。通过这些设计，LiFi能够有效地生成高保真的LiDAR点云。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，LiFi在生成高保真LiDAR场景方面显著优于现有最先进的方法，具体性能提升幅度达到XX%（具体数据待补充）。通过与基线方法的对比，LiFi在生成质量和准确性上均表现出色，验证了其有效性和创新性。

🎯 应用场景

该研究的潜在应用领域包括自动驾驶、机器人导航、虚拟现实和增强现实等。通过生成高质量的LiDAR点云，LiFi能够为这些领域提供更准确的环境感知和数据合成能力，进而提升系统的智能化水平和应用效果。未来，LiFi的技术也可能推动跨模态数据融合和模拟的进一步发展。

📄 摘要（原文）

Generating LiDAR point clouds from multi-view camera images is a valuable task with applications in controllable data synthesis, cross-modal simulation and various perception tasks. However, most existing methods are not specifically designed for this task, and the quality of their generated LiDAR remains limited. Moreover, these methods typically focus only on semantic cues in images or generate LiDAR from a monocular camera image. In this work, we introduce LiFi (LiDAR From images), a dedicated framework for generating visually and geometrically aligned LiDAR scenes from multi-view camera images. LiFi guides the latent diffusion process through two complementary branches: geometry and semantics. The geometry branch constructs scene features from images through a reverse sampling algorithm and an uncertainty-aware geometric encoder combined with DepthAnything3, whereas the semantic branch provides high-level semantic representations via a cross-view interaction module. We further introduce a dual-branch balanced classifier-free guidance (CFG) strategy, which enhances the model's conditional generation capability while preserving the independent learning and collaborative controllability of the two branches. Extensive experiments demonstrate that LiFi outperforms state-of-the-art methods in generating high-fidelity LiDAR scenes. The code will be publicly available at: https://github.com/szzhou88/LiFi.