BRIDGE -- Building Reinforcement-Learning Depth-to-Image Data Generation Engine for Monocular Depth Estimation

📄 arXiv: 2509.25077v2 📥 PDF

作者: Dingning Liu, Haoyu Guo, Jingyi Zhou, Tong He

分类: cs.CV, cs.AI

发布日期: 2025-09-29 (更新: 2025-09-30)

备注: 20 pages, 7 figures

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出基于强化学习的深度图到图像生成引擎BRIDGE，用于单目深度估计。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 单目深度估计 强化学习 数据生成 深度图到图像 领域自适应

📋 核心要点

  1. 传统单目深度估计方法受限于数据量和数据质量，难以保证模型的鲁棒性。
  2. BRIDGE利用强化学习优化深度图到图像的生成过程，合成大规模、高质量的训练数据。
  3. 实验表明，使用BRIDGE生成的数据训练的模型，在单目深度估计任务上超越了现有方法。

📝 摘要（中文）

单目深度估计（MDE）是计算机视觉的基础任务。传统方法受限于数据稀缺和质量，阻碍了其鲁棒性。为了克服这个问题，我们提出了BRIDGE，一个基于强化学习优化的深度图到图像（D2I）生成框架，该框架从不同的源深度图中合成超过2000万张逼真且几何精确的RGB图像，每张图像都与真实深度图配对。然后，我们使用该数据集训练深度估计模型，采用混合监督策略，将教师伪标签与真实深度相结合，以进行全面而鲁棒的训练。这种创新的数据生成和训练范式使BRIDGE在规模和领域多样性方面取得了突破，在定量和复杂场景细节捕获方面始终优于现有的最先进方法，从而培养了通用且鲁棒的深度特征。

🔬 方法详解

问题定义：单目深度估计旨在从单张RGB图像中预测场景的深度信息。现有方法面临的主要挑战是缺乏足够数量和足够多样性的训练数据。真实世界数据的采集成本高昂，且难以覆盖所有可能的场景和光照条件。合成数据虽然成本较低，但往往与真实数据存在较大的领域差异，导致模型泛化能力不足。

核心思路：BRIDGE的核心思路是利用强化学习来优化深度图到图像的生成过程，从而生成大规模、高质量的合成训练数据。通过强化学习，可以自动探索不同的渲染参数和场景配置，生成更逼真、更具多样性的图像，从而缩小合成数据与真实数据之间的领域差异。

技术框架：BRIDGE框架主要包含两个阶段：数据生成阶段和模型训练阶段。在数据生成阶段，首先从不同的源深度图中随机采样深度信息。然后，利用强化学习代理控制渲染引擎，调整渲染参数（如光照、材质、相机姿态等），生成对应的RGB图像。强化学习的目标是最大化生成图像的真实感和几何精度。在模型训练阶段，使用生成的数据集训练深度估计模型。为了进一步提高模型的鲁棒性，采用了混合监督策略，即同时使用真实深度图和教师模型的伪标签进行监督。

关键创新：BRIDGE的关键创新在于利用强化学习来优化数据生成过程。传统的合成数据生成方法通常依赖于人工设计的规则或随机采样，难以保证生成数据的质量和多样性。而BRIDGE通过强化学习，可以自动探索最优的渲染参数和场景配置，生成更逼真、更具多样性的图像，从而显著提高了模型的性能。

关键设计：在强化学习方面，BRIDGE使用了一种基于策略梯度的算法，奖励函数的设计至关重要，需要综合考虑生成图像的真实感、几何精度以及与源深度图的一致性。在模型训练方面，混合监督策略通过结合真实深度图和教师模型的伪标签，可以有效地提高模型的鲁棒性和泛化能力。损失函数的设计需要平衡两种监督信号的权重。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

BRIDGE通过生成超过2000万张RGB图像进行训练，在单目深度估计任务上取得了显著的性能提升。实验结果表明，BRIDGE在定量指标和复杂场景细节捕获方面均优于现有的state-of-the-art方法。该方法能够生成更逼真、更具多样性的训练数据，从而有效提高模型的泛化能力和鲁棒性。

🎯 应用场景

BRIDGE的研究成果可广泛应用于机器人导航、自动驾驶、虚拟现实、增强现实等领域。高质量的单目深度估计是这些应用的关键技术之一。通过BRIDGE生成的大规模、高质量训练数据，可以显著提高深度估计模型的性能，从而提升相关应用的智能化水平和用户体验。未来，该方法还可以扩展到其他计算机视觉任务的数据生成中。

📄 摘要（原文）

Monocular Depth Estimation (MDE) is a foundational task for computer vision. Traditional methods are limited by data scarcity and quality, hindering their robustness. To overcome this, we propose BRIDGE, an RL-optimized depth-to-image (D2I) generation framework that synthesizes over 20M realistic and geometrically accurate RGB images, each intrinsically paired with its ground truth depth, from diverse source depth maps. Then we train our depth estimation model on this dataset, employing a hybrid supervision strategy that integrates teacher pseudo-labels with ground truth depth for comprehensive and robust training. This innovative data generation and training paradigm enables BRIDGE to achieve breakthroughs in scale and domain diversity, consistently outperforming existing state-of-the-art approaches quantitatively and in complex scene detail capture, thereby fostering general and robust depth features. Code and models are available at https://dingning-liu.github.io/bridge.github.io/.