LoRA3D: Low-Rank Self-Calibration of 3D Geometric Foundation Models

📄 arXiv: 2412.07746v1 📥 PDF

作者: Ziqi Lu, Heng Yang, Danfei Xu, Boyi Li, Boris Ivanovic, Marco Pavone, Yue Wang

分类: cs.CV, cs.LG, cs.RO

发布日期: 2024-12-10

💡 一句话要点

LoRA3D：通过低秩自校准提升3D几何基础模型的性能

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 3D几何基础模型 自校准 低秩适应 多视角重建 伪标签学习

📋 核心要点

  1. 现有的3D几何基础模型在视角有限或光照不足等场景下泛化能力不足，需要针对特定场景进行优化。
  2. LoRA3D利用模型自身的多视角预测进行自校准，通过鲁棒优化和置信度加权生成高质量伪标签。
  3. 实验表明，LoRA3D在3D重建、姿态估计和新视角渲染等任务上取得了显著的性能提升，最高达88%。

📝 摘要（中文）

新兴的3D几何基础模型，如DUSt3R，为实际场景中的3D视觉任务提供了一种有前景的方法。然而，由于问题空间的高维度以及高质量3D数据的稀缺性，这些预训练模型在泛化到许多具有挑战性的环境（如有限的视角重叠或低光照）时仍然存在困难。为了解决这个问题，我们提出了LoRA3D，一个高效的自校准流程，利用模型自身的多视角预测来$ extit{专门化}$预训练模型，使其适应目标场景。以稀疏的RGB图像作为输入，我们利用鲁棒的优化技术来细化多视角预测，并将它们对齐到全局坐标系中。特别地，我们将预测置信度纳入几何优化过程，自动地重新加权置信度，以更好地反映点估计的准确性。我们使用校准后的置信度为校准视图生成高质量的伪标签，并使用低秩适应（LoRA）在伪标签数据上微调模型。我们的方法不需要任何外部先验或手动标签。它在$ extbf{单个标准GPU上仅需5分钟}$即可完成自校准过程。每个低秩适配器仅需$ extbf{18MB}$的存储空间。我们在来自Replica、TUM和Waymo Open数据集的$ extbf{超过160个场景}$上评估了我们的方法，在3D重建、多视角姿态估计和新视角渲染方面实现了高达$ extbf{88%的性能提升}$。

🔬 方法详解

问题定义：现有3D几何基础模型，如DUSt3R，在面对真实场景中复杂的光照条件、有限的视角重叠等挑战时，泛化能力不足，难以直接应用。这些模型通常需要大量的标注数据进行微调才能适应特定场景，而获取高质量的3D标注数据成本高昂。因此，如何在缺乏外部先验知识和人工标注的情况下，高效地提升3D几何基础模型在特定场景下的性能是一个关键问题。

核心思路：LoRA3D的核心思路是利用模型自身的多视角预测结果进行自校准，从而生成高质量的伪标签，并使用这些伪标签来微调模型。通过鲁棒优化技术对多视角预测进行对齐，并结合预测置信度进行加权，可以有效地减少噪声和误差，提高伪标签的质量。然后，利用低秩适应（LoRA）技术对模型进行高效的微调，从而使模型更好地适应目标场景。

技术框架：LoRA3D的整体流程包括以下几个主要阶段：1) 多视角预测：使用预训练的3D几何基础模型对输入的多视角RGB图像进行深度和位姿预测。2) 鲁棒优化：利用鲁棒优化技术，将多视角预测结果对齐到全局坐标系中，并根据预测置信度进行加权。3) 伪标签生成：使用校准后的多视角预测结果生成高质量的伪标签。4) LoRA微调：使用生成的伪标签对预训练模型进行低秩适应（LoRA）微调，从而使模型更好地适应目标场景。

关键创新：LoRA3D的关键创新在于：1) 提出了一种基于自校准的伪标签生成方法，无需外部先验知识和人工标注。2) 将预测置信度纳入几何优化过程，自动地重新加权置信度，以更好地反映点估计的准确性。3) 使用低秩适应（LoRA）技术对模型进行高效的微调，降低了计算成本和存储需求。

关键设计：在鲁棒优化阶段，使用了M-estimator损失函数来减少异常值的影响。预测置信度的加权方式采用了一种自适应的策略，根据预测结果的分布动态调整权重。LoRA微调过程中，选择合适的秩（rank）是关键，需要在性能和计算成本之间进行权衡。论文中使用了Adam优化器，并设置了合适的学习率和训练轮数。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

LoRA3D在Replica、TUM和Waymo Open数据集的超过160个场景上进行了评估，实验结果表明，该方法在3D重建、多视角姿态估计和新视角渲染方面实现了显著的性能提升，最高可达88%。值得注意的是，LoRA3D可以在单个标准GPU上仅用5分钟完成自校准过程，并且每个低秩适配器仅需18MB的存储空间，这使得该方法非常高效和实用。

🎯 应用场景

LoRA3D具有广泛的应用前景，例如：机器人导航、自动驾驶、三维重建、虚拟现实和增强现实等领域。该方法可以帮助这些应用在资源受限的环境中，利用少量数据快速适应新的场景，提高系统的鲁棒性和准确性。此外，LoRA3D还可以用于提升现有3D视觉系统的性能，例如，通过自校准来提高三维重建的精度和完整性。

📄 摘要（原文）

Emerging 3D geometric foundation models, such as DUSt3R, offer a promising approach for in-the-wild 3D vision tasks. However, due to the high-dimensional nature of the problem space and scarcity of high-quality 3D data, these pre-trained models still struggle to generalize to many challenging circumstances, such as limited view overlap or low lighting. To address this, we propose LoRA3D, an efficient self-calibration pipeline to $\textit{specialize}$ the pre-trained models to target scenes using their own multi-view predictions. Taking sparse RGB images as input, we leverage robust optimization techniques to refine multi-view predictions and align them into a global coordinate frame. In particular, we incorporate prediction confidence into the geometric optimization process, automatically re-weighting the confidence to better reflect point estimation accuracy. We use the calibrated confidence to generate high-quality pseudo labels for the calibrating views and use low-rank adaptation (LoRA) to fine-tune the models on the pseudo-labeled data. Our method does not require any external priors or manual labels. It completes the self-calibration process on a $\textbf{single standard GPU within just 5 minutes}$. Each low-rank adapter requires only $\textbf{18MB}$ of storage. We evaluated our method on $\textbf{more than 160 scenes}$ from the Replica, TUM and Waymo Open datasets, achieving up to $\textbf{88% performance improvement}$ on 3D reconstruction, multi-view pose estimation and novel-view rendering.