Radar-Guided Polynomial Fitting for Metric Depth Estimation

📄 arXiv: 2503.17182v3 📥 PDF

作者: Patrick Rim, Hyoungseob Park, Vadim Ezhov, Jeffrey Moon, Alex Wong

分类: cs.CV

发布日期: 2025-03-21 (更新: 2025-12-18)

💡 一句话要点

POLAR：利用雷达引导的多项式拟合实现精确的单目深度估计

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 单目深度估计 雷达引导 多项式拟合 深度校正 度量深度估计

📋 核心要点

  1. 现有单目深度估计模型在局部深度结构预测上表现良好，但在全局对齐上存在不足，仿射变换难以校正。
  2. POLAR利用廉价雷达数据预测多项式系数，自适应调整不同深度范围的深度预测，实现非均匀校正。
  3. POLAR通过一阶导数正则化，保证局部单调性，维持结构一致性，并在多个数据集上取得显著性能提升。

📝 摘要（中文）

我们提出了一种新颖的雷达引导深度估计方法POLAR，该方法引入多项式拟合，以有效地将预训练单目深度估计（MDE）模型产生的无尺度深度预测转换为度量深度图。与依赖复杂架构或昂贵传感器的现有方法不同，我们的方法基于一个基本洞察：尽管MDE模型通常在每个对象或局部区域内推断出合理的局部深度结构，但它们可能会错误地对齐这些区域，使得线性尺度和平移（仿射）变换不足以处理三个或更多这样的区域。为了解决这个限制，我们使用从廉价、普遍存在的雷达数据预测的多项式系数，以自适应地调整不同深度范围的预测。通过这种方式，POLAR推广到仿射变换之外，并且能够通过引入拐点来校正这种错位。重要的是，我们的多项式拟合框架通过一种新颖的训练目标来保持结构一致性，该目标通过一阶导数正则化来强制执行局部单调性。POLAR在三个数据集上实现了最先进的性能，在MAE方面平均优于现有方法24.9%，在RMSE方面平均优于现有方法33.2%，同时在延迟和计算成本方面也实现了最先进的效率。

🔬 方法详解

问题定义：单目深度估计(MDE)模型虽然能较好地预测局部深度结构，但在全局尺度上存在偏差，导致不同区域的深度对齐错误。简单的仿射变换（线性缩放和平移）无法有效校正这种非均匀的深度偏差，尤其是在存在多个深度不连续区域时。现有方法通常依赖于复杂的网络结构或昂贵的传感器，成本较高。

核心思路：利用雷达数据提供的稀疏深度信息，学习一个多项式函数，该函数能够根据深度范围自适应地调整MDE模型的预测结果。核心在于使用多项式拟合来建模深度偏差，从而实现非均匀的深度校正，克服了仿射变换的局限性。这样可以在保持局部结构的同时，校正全局的深度对齐。

技术框架：POLAR的整体框架包括以下几个步骤：1) 使用预训练的单目深度估计模型生成初始深度图；2) 使用雷达传感器获取稀疏的深度点云；3) 利用雷达深度点云预测多项式系数；4) 使用预测的多项式系数对初始深度图进行非均匀校正，生成最终的度量深度图。训练过程中，同时优化深度预测和多项式系数预测。

关键创新：POLAR的关键创新在于使用多项式拟合来建模和校正单目深度估计的全局偏差。与传统的仿射变换相比，多项式拟合能够更好地处理非均匀的深度偏差，从而提高深度估计的准确性。此外，POLAR还引入了一阶导数正则化，以保证校正后的深度图的局部单调性，避免出现深度突变，从而保持结构一致性。

关键设计：POLAR使用一个小型神经网络来预测多项式系数，该网络的输入是雷达深度点云。损失函数包括两部分：深度预测损失和单调性损失。深度预测损失用于优化深度估计的准确性，单调性损失（一阶导数正则化）用于保证深度图的局部单调性。多项式的阶数是一个重要的参数，需要根据具体应用场景进行调整。实验中使用了3阶多项式。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

POLAR在三个数据集上取得了state-of-the-art的性能，MAE平均提升24.9%，RMSE平均提升33.2%。与现有方法相比，POLAR在精度提升的同时，还具有更低的延迟和计算成本，使其更适合于实时应用。实验结果表明，POLAR能够有效地校正单目深度估计的全局偏差，提高深度估计的准确性。

🎯 应用场景

POLAR具有广泛的应用前景，包括自动驾驶、机器人导航、增强现实等领域。在自动驾驶中，精确的深度估计对于障碍物检测、路径规划至关重要。在机器人导航中，深度信息可以帮助机器人理解周围环境，实现自主导航。在增强现实中，深度信息可以用于将虚拟物体与真实场景进行精确的融合。POLAR的低成本和高效率使其成为这些应用的理想选择。

📄 摘要（原文）

We propose POLAR, a novel radar-guided depth estimation method that introduces polynomial fitting to efficiently transform scaleless depth predictions from pretrained monocular depth estimation (MDE) models into metric depth maps. Unlike existing approaches that rely on complex architectures or expensive sensors, our method is grounded in a fundamental insight: although MDE models often infer reasonable local depth structure within each object or local region, they may misalign these regions relative to one another, making a linear scale and shift (affine) transformation insufficient given three or more of these regions. To address this limitation, we use polynomial coefficients predicted from cheap, ubiquitous radar data to adaptively adjust predictions non-uniformly across depth ranges. In this way, POLAR generalizes beyond affine transformations and is able to correct such misalignments by introducing inflection points. Importantly, our polynomial fitting framework preserves structural consistency through a novel training objective that enforces local monotonicity via first-derivative regularization. POLAR achieves state-of-the-art performance across three datasets, outperforming existing methods by an average of 24.9% in MAE and 33.2% in RMSE, while also achieving state-of-the-art efficiency in terms of latency and computational cost.