No Pose Estimation? No Problem: Pose-Agnostic and Instance-Aware Test-Time Adaptation for Monocular Depth Estimation
作者: Mingyu Sung, Hyeonmin Choe, Il-Min Kim, Sangseok Yun, Jae Mo Kang
分类: cs.CV, cs.AI
发布日期: 2025-11-07
💡 一句话要点
提出PITTA：一种无需姿态估计的、实例感知的单目深度估计测试时自适应框架
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 单目深度估计 测试时自适应 姿态无关 实例感知 自监督学习
📋 核心要点
- 现有单目深度估计的测试时自适应方法在动态环境中表现不佳，尤其是在缺乏相机姿态信息的情况下。
- PITTA通过姿态无关的TTA范式和实例感知的图像掩码策略，实现了更有效的单目深度估计测试时自适应。
- 在DrivingStereo和Waymo数据集上的实验表明，PITTA显著优于现有技术，提升了单目深度估计的性能。
📝 摘要（中文）
单目深度估计（MDE）在许多需要三维场景理解的AI应用中至关重要。在实际应用中，MDE模型常需要在与训练环境不同的条件下部署。测试时自适应（TTA）是解决此问题的有效方法。尽管MDE的TTA，特别是自监督TTA，已经取得了显著进展，但现有方法在多样化和动态环境中仍然无效。为了突破这一挑战，我们提出了一种新的高性能MDE的TTA框架，名为PITTA。我们的方法包含两个关键创新策略：（i）用于MDE的姿态无关TTA范式和（ii）实例感知的图像掩码。具体来说，PITTA能够在无需任何相机姿态信息的情况下，以姿态无关的方式对预训练的MDE网络进行高效的TTA。此外，我们的实例感知掩码策略通过从预训练的全景分割网络生成的分割掩码中移除包括背景组件在内的静态对象，来提取动态对象（例如，车辆、行人等）的实例级掩码。为了进一步提高性能，我们还提出了一种简单而有效的边缘提取方法，用于输入图像（即，单个单目图像）和深度图。在具有不同环境条件的DrivingStereo和Waymo数据集上的大量实验评估表明，我们提出的框架PITTA超越了现有的最先进技术，并在TTA期间的MDE中实现了显著的性能改进。
🔬 方法详解
问题定义：论文旨在解决单目深度估计（MDE）模型在实际部署时，由于测试环境与训练环境存在差异而导致的性能下降问题。现有的测试时自适应（TTA）方法在处理动态环境和缺乏相机姿态信息时表现不佳，限制了MDE模型在实际场景中的应用。
核心思路：论文的核心思路是设计一种姿态无关且实例感知的TTA框架，使得MDE模型能够在无需相机姿态信息的情况下，自适应地适应新的测试环境。通过关注动态对象并忽略静态背景，模型可以更好地学习场景的深度信息，从而提高深度估计的准确性。
技术框架：PITTA框架主要包含以下几个模块：1) 预训练的单目深度估计网络；2) 预训练的全景分割网络，用于生成实例分割掩码；3) 实例感知掩码模块，用于提取动态对象的实例级掩码；4) 边缘提取模块，用于提取输入图像和深度图的边缘信息；5) 自监督损失函数，用于在测试时进行模型自适应。整体流程是：输入单目图像，通过全景分割网络获得实例掩码，然后利用实例掩码和边缘信息进行自监督训练，从而更新单目深度估计网络的参数。
关键创新：论文的关键创新点在于：1) 提出了姿态无关的TTA范式，无需相机姿态信息即可进行模型自适应；2) 引入了实例感知的图像掩码策略，通过关注动态对象来提高深度估计的准确性；3) 结合了边缘提取方法，进一步提升了深度估计的细节表现。与现有方法相比，PITTA更关注场景中的动态信息，并且不需要额外的姿态估计模块。
关键设计：实例感知掩码模块的关键设计在于如何有效地从全景分割结果中提取动态对象的掩码，并去除静态背景。边缘提取模块采用了一种简单但有效的边缘检测算子，用于提取输入图像和深度图的边缘信息。自监督损失函数的设计需要平衡深度一致性和边缘一致性，以保证模型在自适应过程中能够学习到更准确的深度信息。
🖼️ 关键图片
📊 实验亮点
PITTA在DrivingStereo和Waymo数据集上进行了广泛的实验评估，结果表明其性能显著优于现有的最先进技术。具体而言，PITTA在各种环境条件下均取得了显著的性能提升，尤其是在动态场景和缺乏相机姿态信息的情况下。实验结果证明了PITTA在单目深度估计测试时自适应方面的有效性和优越性。
🎯 应用场景
该研究成果可广泛应用于自动驾驶、机器人导航、增强现实等领域。通过提高单目深度估计在真实场景中的准确性和鲁棒性，可以提升自动驾驶系统的环境感知能力，改善机器人的导航性能，并为AR应用提供更逼真的三维场景重建效果。未来，该技术有望进一步扩展到其他视觉任务，如三维重建、场景理解等。
📄 摘要（原文）
Monocular depth estimation (MDE), inferring pixel-level depths in single RGB images from a monocular camera, plays a crucial and pivotal role in a variety of AI applications demanding a three-dimensional (3D) topographical scene. In the real-world scenarios, MDE models often need to be deployed in environments with different conditions from those for training. Test-time (domain) adaptation (TTA) is one of the compelling and practical approaches to address the issue. Although there have been notable advancements in TTA for MDE, particularly in a self-supervised manner, existing methods are still ineffective and problematic when applied to diverse and dynamic environments. To break through this challenge, we propose a novel and high-performing TTA framework for MDE, named PITTA. Our approach incorporates two key innovative strategies: (i) pose-agnostic TTA paradigm for MDE and (ii) instance-aware image masking. Specifically, PITTA enables highly effective TTA on a pretrained MDE network in a pose-agnostic manner without resorting to any camera pose information. Besides, our instance-aware masking strategy extracts instance-wise masks for dynamic objects (e.g., vehicles, pedestrians, etc.) from a segmentation mask produced by a pretrained panoptic segmentation network, by removing static objects including background components. To further boost performance, we also present a simple yet effective edge extraction methodology for the input image (i.e., a single monocular image) and depth map. Extensive experimental evaluations on DrivingStereo and Waymo datasets with varying environmental conditions demonstrate that our proposed framework, PITTA, surpasses the existing state-of-the-art techniques with remarkable performance improvements in MDE during TTA.