D3RoMa: Disparity Diffusion-based Depth Sensing for Material-Agnostic Robotic Manipulation
作者: Songlin Wei, Haoran Geng, Jiayi Chen, Congyue Deng, Wenbo Cui, Chengyang Zhao, Xiaomeng Fang, Leonidas Guibas, He Wang
分类: cs.RO
发布日期: 2024-09-22 (更新: 2024-09-25)
💡 一句话要点
D3RoMa：基于Disparity Diffusion的深度感知，用于材质无关的机器人操作
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 深度估计 机器人操作 扩散模型 立体视觉 深度感知 材质无关 左右一致性 图像到图像转换
📋 核心要点
- 现实世界中的主动立体视觉或ToF深度相机经常产生噪声和不完整的深度信息，限制了机器人性能，因此精确深度感知至关重要。
- D3RoMa利用去噪扩散概率模型，将深度估计和恢复统一为图像到图像的转换问题，并结合左右一致性约束指导扩散过程。
- 通过在包含透明和镜面物体的大型合成数据集上训练，D3RoMa在真实场景中实现了最先进的深度估计性能，并显著提升了机器人操作能力。
📝 摘要（中文）
本文提出D3RoMa，一个基于学习的立体图像对深度估计框架，旨在预测各种室内场景中干净而精确的深度图。该方法尤其擅长处理传统深度感知技术完全失效的半透明或镜面反射表面。其核心思想是将深度估计和恢复统一为一个图像到图像的转换问题，通过去噪扩散概率模型预测视差图。在推理阶段，进一步结合左右一致性约束作为分类器指导扩散过程。该框架融合了最新的学习方法和传统立体视觉的几何约束。为了模型训练，创建了一个包含各种透明和镜面物体的场景级合成数据集，以弥补现有桌面数据集的不足。训练后的模型可以直接应用于真实场景，并在多个公共深度估计基准测试中实现最先进的性能。真实环境中的实验表明，精确的深度预测显著提高了各种场景中的机器人操作性能。
🔬 方法详解
问题定义：现有主动深度相机在处理具有挑战性的材质（如透明、镜面反射）时，会产生大量噪声和缺失，导致深度信息不准确或不完整。这严重阻碍了机器人对这些物体的操作和理解。传统立体匹配算法在这些材质上也表现不佳。
核心思路：D3RoMa的核心思路是将深度估计问题转化为一个图像到图像的转换问题，利用扩散模型强大的生成能力来恢复高质量的视差图。通过学习从噪声视差图到清晰视差图的映射，模型能够有效地填充缺失区域并消除噪声，即使在传统方法失效的区域也能生成合理的深度估计。
技术框架：D3RoMa框架主要包含以下几个阶段：1) 输入左右图像对；2) 使用一个深度神经网络（具体结构未知）预测初始视差图；3) 使用去噪扩散概率模型（DDPM）对初始视差图进行迭代去噪，逐步恢复清晰的视差图；4) 在扩散过程中，利用左右一致性约束作为分类器指导，确保生成的视差图在左右视图中保持一致性。
关键创新：D3RoMa的关键创新在于：1) 将深度估计问题与扩散模型相结合，利用扩散模型强大的生成能力来处理具有挑战性的材质；2) 将左右一致性约束融入到扩散过程中，作为分类器指导，提高了深度估计的准确性和鲁棒性；3) 创建了一个大型合成数据集，专门用于训练模型处理透明和镜面反射物体。
关键设计：关于关键设计，论文中提到使用去噪扩散概率模型（DDPM）来预测视差图，但没有提供具体的网络结构细节。左右一致性约束被用作分类器指导扩散过程，具体实现方式未知。为了训练模型，作者创建了一个大型合成数据集，其中包含各种透明和镜面物体，数据集的规模和多样性是模型性能的关键保证。损失函数和训练策略的具体细节未知。
🖼️ 关键图片
📊 实验亮点
D3RoMa在多个公共深度估计基准测试中取得了最先进的性能。更重要的是，在真实环境中的机器人操作实验表明，D3RoMa能够显著提高机器人抓取透明和反光物体的成功率。具体的性能数据和对比基线在论文中给出，但此处未提供。
🎯 应用场景
D3RoMa在机器人操作领域具有广泛的应用前景，尤其是在需要处理具有挑战性材质的场景中。例如，它可以应用于机器人抓取透明或反光物体、进行精细装配、以及在复杂环境中进行导航。该技术还可以扩展到其他领域，如增强现实、虚拟现实和三维重建，以提高深度感知的准确性和鲁棒性。
📄 摘要（原文）
Depth sensing is an important problem for 3D vision-based robotics. Yet, a real-world active stereo or ToF depth camera often produces noisy and incomplete depth which bottlenecks robot performances. In this work, we propose D3RoMa, a learning-based depth estimation framework on stereo image pairs that predicts clean and accurate depth in diverse indoor scenes, even in the most challenging scenarios with translucent or specular surfaces where classical depth sensing completely fails. Key to our method is that we unify depth estimation and restoration into an image-to-image translation problem by predicting the disparity map with a denoising diffusion probabilistic model. At inference time, we further incorporated a left-right consistency constraint as classifier guidance to the diffusion process. Our framework combines recently advanced learning-based approaches and geometric constraints from traditional stereo vision. For model training, we create a large scene-level synthetic dataset with diverse transparent and specular objects to compensate for existing tabletop datasets. The trained model can be directly applied to real-world in-the-wild scenes and achieve state-of-the-art performance in multiple public depth estimation benchmarks. Further experiments in real environments show that accurate depth prediction significantly improves robotic manipulation in various scenarios.