M3GD: Multi-Modal Multi-View Geometric Diffusion for Camera--LiDAR Novel View Synthesis
作者: Yang Zhou, Jiuhong Xiao, Shizhao Ye, Long Quang, Carlos Nieto-Granda, Giuseppe Loianno
分类: cs.RO, cs.CV
发布日期: 2026-09-24
💡 一句话要点
提出M3GD以解决机器人新视图合成中的多模态融合问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 新视图合成 多模态融合 机器人视觉 LiDAR 深度学习
📋 核心要点
- 现有生成性新视图合成方法大多仅依赖图像，未能充分利用LiDAR等多模态信息，导致合成效果受限。
- M3GD通过结合独立预训练的2D图像和3D点云模型，利用LiDAR的几何信息来增强新视图合成的质量。
- 在GrandTour数据集上，M3GD在RGB和深度合成上相较于仅使用图像的版本有显著提升，验证了其有效性。
📝 摘要（中文）
机器人新视图合成（NVS）需要同时恢复视觉外观和度量3D结构，但大多数生成性NVS方法仅依赖图像，忽视了常见于机器人平台的LiDAR传感器。本文提出M3GD，一种相机-激光雷达多模态表示，用于生成性NVS，结合独立预训练的2D图像和3D点云基础模型，而无需单独预训练跨模态翻译器。实验表明，在相机投影后，冻结的LiDAR和图像特征展现出显著的共享空间结构，从而提供自然的跨模态表示。M3GD通过这种结构对生成进行条件化，结合显式几何统计和学习的点云描述符，生成与图像潜在网格对齐的视图包，并通过轻量级残差适配器注入到多视图流匹配生成器中。实验结果显示，M3GD在GrandTour数据集上显著提升了目标视图的RGB和深度合成效果。
🔬 方法详解
问题定义：本文旨在解决机器人新视图合成中多模态信息融合不足的问题。现有方法通常仅依赖图像，未能有效利用LiDAR的几何信息，导致合成效果不佳。
核心思路：M3GD的核心思路是将独立预训练的2D图像模型与3D点云模型结合，通过共享的空间结构实现跨模态表示，从而提升生成效果。
技术框架：M3GD的整体架构包括多个主要模块：首先是图像和LiDAR特征的提取，然后是通过轻量级残差适配器将这些特征注入到多视图流匹配生成器中，最后生成目标视图的RGB和深度信息。
关键创新：M3GD的主要创新在于通过冻结的LiDAR和图像特征的共享空间结构，实现了自然的跨模态表示，避免了传统方法中需要单独预训练跨模态翻译器的复杂性。
关键设计：在设计中，M3GD使用了视图对齐的数据包结构，并通过显式几何统计与学习的点云描述符相结合，确保生成的图像与LiDAR信息的高度一致性。
🖼️ 关键图片
📊 实验亮点
在GrandTour数据集上的实验结果显示，M3GD在目标视图的RGB和深度合成上相较于仅使用图像的版本有显著提升，具体提升幅度未知，验证了其在多模态融合方面的有效性。
🎯 应用场景
该研究的潜在应用领域包括自动驾驶、机器人导航和增强现实等场景，能够有效提升多模态传感器数据的利用效率，增强环境感知能力。未来，M3GD有望在复杂环境下实现更高质量的视觉合成，推动智能机器人技术的发展。
📄 摘要（原文）
Robotic novel view synthesis (NVS) must recover both visual appearance and metric 3D structure, yet most generative NVS methods rely only on images, overlooking LiDAR, a complementary sensor common on robotic platforms. We present M3GD, a Camera--LiDAR multimodal representation for generative NVS that composes independently pretrained 2D image and 3D point-cloud foundation models without separately pretraining a cross-modal translator. We show that, after camera projection, frozen LiDAR and image features exhibit substantial shared spatial structure, providing a natural cross-modal representation. M3GD conditions generation on LiDAR through this structure: it combines explicit geometry statistics with learned point-cloud descriptors into view-aligned packets on the image-latent grid, injected through a lightweight residual adapter into a multi-view flow-matching generator whose latent space, decoders, and training objective remain intact. On the GrandTour dataset, M3GD improves target-view RGB and depth synthesis over an image-only version of the same backbone. Ablations show that the gains come from pixel-aligned LiDAR content and that target-view LiDAR acts as a geometric query linking the requested view to source observations. Deployment on a ground robot demonstrates practical real-world operation, with a configurable quality--cost trade-off controlled by the number of Euler integration steps.