MObI: Multimodal Object Inpainting Using Diffusion Models

📄 arXiv: 2501.03173v2 📥 PDF

作者: Alexandru Buburuzan, Anuj Sharma, John Redford, Puneet K. Dokania, Romain Mueller

分类: cs.CV

发布日期: 2025-01-06 (更新: 2025-04-22)

备注: 8 pages; Project page at https://alexbubu.com/mobi

💡 一句话要点

MObI：提出基于扩散模型的多模态物体填充框架，用于自动驾驶场景数据增强。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态学习 扩散模型 物体填充 自动驾驶 数据增强 3D bounding box 条件生成

📋 核心要点

  1. 自动驾驶等安全关键应用需要广泛的多模态数据进行严格测试，而真实数据采集成本高昂且复杂。
  2. MObI利用扩散模型，通过3D bounding box控制，将物体无缝插入多模态场景，保持语义一致性和模态连贯性。
  3. 该方法能够灵活地将新物体插入多模态场景，为感知模型的测试提供数据增强，具有重要的实际应用价值。

📝 摘要（中文）

本文提出了一种新颖的多模态物体填充框架MObI，它利用扩散模型在感知模态（包括相机和激光雷达）中创建逼真且可控的物体填充。MObI使用单个参考RGB图像，能够将物体无缝地插入到现有的多模态场景中，并由3D bounding box指定其3D位置，同时保持语义一致性和多模态连贯性。与仅依赖编辑mask的传统填充方法不同，我们的3D bounding box conditioning为物体提供了精确的空间定位和真实的缩放。因此，我们的方法可以灵活地将新物体插入到多模态场景中，为测试感知模型提供显著优势。

🔬 方法详解

问题定义：现有自动驾驶场景数据采集成本高昂，且难以控制场景中的物体位置、大小和类型。传统图像填充方法通常依赖于2D编辑mask，缺乏对3D空间信息的感知，难以保证填充物体在多模态数据中的一致性和真实感。

核心思路：MObI的核心思路是利用扩散模型强大的生成能力，结合3D bounding box作为条件，控制填充物体的位置、大小和方向。通过参考RGB图像，保证填充物体与场景的语义一致性，并利用多模态扩散模型保证不同模态数据之间的连贯性。

技术框架：MObI框架主要包含以下几个阶段：1) 使用参考RGB图像提取物体特征；2) 将3D bounding box信息编码为条件向量；3) 使用扩散模型，以参考物体特征和3D bounding box条件向量为输入，生成填充后的RGB图像和激光雷达点云；4) 将生成的物体无缝地融合到原始场景中。

关键创新：MObI的关键创新在于将3D bounding box作为扩散模型的条件，从而实现了对填充物体空间位置的精确控制。此外，MObI还采用了多模态扩散模型，保证了填充物体在不同模态数据之间的一致性和连贯性。

关键设计：MObI使用U-Net作为扩散模型的主干网络，并引入了attention机制来融合参考物体特征和3D bounding box条件向量。损失函数包括重建损失和对抗损失，以保证生成图像的质量和真实感。具体的参数设置和网络结构细节在论文中有详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文通过实验验证了MObI在多模态物体填充方面的有效性。实验结果表明，MObI能够生成逼真且与场景语义一致的填充结果，并且能够保持多模态数据之间的连贯性。与传统的图像填充方法相比，MObI在物体空间定位和真实感方面具有显著优势。具体的性能数据和对比基线在论文中有详细展示。

🎯 应用场景

MObI可广泛应用于自动驾驶、机器人等领域的数据增强。通过在现有场景中插入各种类型的物体，可以生成大量具有不同场景配置的合成数据，用于训练和评估感知模型，提高模型的鲁棒性和泛化能力。此外，MObI还可以用于创建虚拟环境，进行场景设计和仿真测试，加速自动驾驶技术的研发进程。

📄 摘要（原文）

Safety-critical applications, such as autonomous driving, require extensive multimodal data for rigorous testing. Methods based on synthetic data are gaining prominence due to the cost and complexity of gathering real-world data but require a high degree of realism and controllability in order to be useful. This paper introduces MObI, a novel framework for Multimodal Object Inpainting that leverages a diffusion model to create realistic and controllable object inpaintings across perceptual modalities, demonstrated for both camera and lidar simultaneously. Using a single reference RGB image, MObI enables objects to be seamlessly inserted into existing multimodal scenes at a 3D location specified by a bounding box, while maintaining semantic consistency and multimodal coherence. Unlike traditional inpainting methods that rely solely on edit masks, our 3D bounding box conditioning gives objects accurate spatial positioning and realistic scaling. As a result, our approach can be used to insert novel objects flexibly into multimodal scenes, providing significant advantages for testing perception models.