DepthFocus: Controllable Depth Estimation for See-Through Scenes

📄 arXiv: 2511.16993v1 📥 PDF

作者: Junhong Min, Jimin Kim, Cheol-Hui Min, Minwook Kim, Youngpil Jeon, Minyong Choi

分类: cs.CV

发布日期: 2025-11-21

备注: 8pages, 6 figures, 5 tables

💡 一句话要点

提出DepthFocus，通过可控深度估计实现透视场景的选择性感知。

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 深度估计 透视场景 Vision Transformer 可控深度 深度偏好

📋 核心要点

  1. 现有深度估计模型在处理透视场景时，无法有效区分和聚焦不同深度的目标，导致深度感知模糊。
  2. DepthFocus通过引入可控的Vision Transformer，允许用户指定深度偏好，模型据此动态调整计算，聚焦于目标深度。
  3. 实验表明，DepthFocus在透视场景深度估计上达到SOTA，并在新构建的多深度数据集上展示了意图对齐的估计能力。

📝 摘要（中文）

真实世界的深度通常不是单一的。透射材料会产生分层歧义，使传统的感知系统感到困惑。现有的模型是被动的，试图估计锚定到最近表面的静态深度图，而人类会主动转移焦点以感知所需的深度。我们引入了DepthFocus，这是一个可控的Vision Transformer，它将立体深度估计重新定义为意图驱动的控制。在标量深度偏好的条件下，该模型动态地调整其计算，以专注于预期的深度，从而实现在复杂场景中的选择性感知。该训练主要利用我们新构建的50万个多层合成数据集，该数据集旨在捕获各种透视效果。DepthFocus不仅在传统的单深度基准（如BOOSTER，一个以透明和反射对象而闻名的数据集）上实现了最先进的性能，而且还在我们新提出的真实和合成多深度数据集上定量地展示了意图对齐的估计。此外，它在未见过的透视场景中表现出强大的泛化能力，突显了其作为迈向主动和类人3D感知的重要一步的稳健性。

🔬 方法详解

问题定义：现有立体深度估计方法在处理包含透明和反射材质的“透视场景”时，通常只能估计到最近的表面，无法有效区分和估计场景中不同深度的多个目标。这导致深度估计结果缺乏针对性和可控性，无法满足人类选择性聚焦特定深度的需求。现有方法缺乏主动性和对用户意图的理解。

核心思路：DepthFocus的核心在于将立体深度估计问题转化为一个意图驱动的控制问题。通过引入一个标量深度偏好作为条件，模型可以动态地调整其计算过程，从而聚焦于用户指定的深度。这种方法模拟了人类主动调整焦点以感知不同深度的行为，使得深度估计更具针对性和可控性。

技术框架：DepthFocus基于Vision Transformer架构，整体流程包括：1) 输入左右图像对；2) 接收一个标量深度偏好作为条件；3) 通过Transformer网络进行特征提取和深度估计；4) 输出与深度偏好对齐的深度图。模型的关键在于如何将深度偏好融入到Transformer的计算过程中，并引导模型关注目标深度。

关键创新：DepthFocus的关键创新在于将深度偏好作为条件融入到Vision Transformer中，实现了可控的深度估计。与传统的被动深度估计方法不同，DepthFocus可以根据用户的意图主动调整深度估计结果，从而更好地适应复杂场景的需求。此外，新构建的包含50万张多层合成数据集也是一个重要贡献，为模型的训练提供了充足的数据。

关键设计：DepthFocus的具体实现细节包括：1) 使用Vision Transformer作为基础网络架构；2) 将标量深度偏好嵌入到Transformer的输入特征中；3) 设计特定的损失函数，鼓励模型输出与深度偏好对齐的深度图。具体损失函数细节未知，但推测可能包含深度回归损失和深度偏好对齐损失。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

DepthFocus在BOOSTER数据集上取得了SOTA性能，该数据集以包含大量透明和反射物体而著称。此外，在作者新构建的包含50万张多层合成数据集上，DepthFocus展示了与用户意图对齐的深度估计能力。在未见过的透视场景中也表现出强大的泛化能力，证明了其鲁棒性。

🎯 应用场景

DepthFocus在机器人导航、自动驾驶、虚拟现实和增强现实等领域具有广泛的应用前景。例如，在自动驾驶中，它可以帮助车辆更准确地感知前方车辆和障碍物的距离，尤其是在雨雪天气或存在透明物体时。在VR/AR中，它可以提供更逼真的深度感知，增强用户的沉浸感。

📄 摘要（原文）

Depth in the real world is rarely singular. Transmissive materials create layered ambiguities that confound conventional perception systems. Existing models remain passive, attempting to estimate static depth maps anchored to the nearest surface, while humans actively shift focus to perceive a desired depth. We introduce DepthFocus, a steerable Vision Transformer that redefines stereo depth estimation as intent-driven control. Conditioned on a scalar depth preference, the model dynamically adapts its computation to focus on the intended depth, enabling selective perception within complex scenes. The training primarily leverages our newly constructed 500k multi-layered synthetic dataset, designed to capture diverse see-through effects. DepthFocus not only achieves state-of-the-art performance on conventional single-depth benchmarks like BOOSTER, a dataset notably rich in transparent and reflective objects, but also quantitatively demonstrates intent-aligned estimation on our newly proposed real and synthetic multi-depth datasets. Moreover, it exhibits strong generalization capabilities on unseen see-through scenes, underscoring its robustness as a significant step toward active and human-like 3D perception.