Robust Shape from Focus via Multiscale Directional Dilated Laplacian and Recurrent Network

📄 arXiv: 2512.10498v1 📥 PDF

作者: Khurram Ashfaq, Muhammad Tariq Mahmood

分类: cs.CV

发布日期: 2025-12-11

备注: Accepted to IJCV

💡 一句话要点

提出基于多尺度方向扩张拉普拉斯和循环网络的稳健Shape-from-Focus方法

🎯 匹配领域: 支柱三：空间感知 (Perception & SLAM)

关键词: Shape-from-Focus 深度估计 方向扩张拉普拉斯 循环神经网络 多尺度学习 深度学习 图像处理 三维重建

📋 核心要点

  1. 现有基于深度学习的SFF方法依赖复杂特征提取和简单聚合，易引入伪影和噪声。
  2. 提出混合框架，利用手工DDL核提取鲁棒焦点体积，再用轻量级GRU网络迭代优化深度。
  3. 实验表明，该方法在合成和真实数据集上均优于现有方法，提升了精度和泛化性。

📝 摘要（中文）

Shape-from-Focus (SFF) 是一种被动深度估计技术，通过分析焦点堆栈中的焦点变化来推断场景深度。目前基于深度学习的SFF方法通常分两个阶段进行：首先，使用复杂的特征编码器提取焦点体积（焦点堆栈中每个像素的焦点可能性表示）；然后，通过简单的单步聚合技术估计深度，这通常会引入伪影并放大深度图中的噪声。为了解决这些问题，我们提出了一种混合框架。我们的方法传统上使用手工制作的方向扩张拉普拉斯 (DDL) 核计算多尺度焦点体积，这些核捕获远距离和方向焦点变化以形成稳健的焦点体积。然后，这些焦点体积被输入到轻量级的、基于多尺度GRU的深度提取模块中，该模块以较低的分辨率迭代地细化初始深度估计，以提高计算效率。最后，我们循环网络中学习到的凸上采样模块重建高分辨率深度图，同时保留精细的场景细节和清晰的边界。在合成和真实世界数据集上的大量实验表明，我们的方法优于最先进的深度学习和传统方法，在不同的焦点条件下实现了卓越的准确性和泛化能力。

🔬 方法详解

问题定义：Shape-from-Focus (SFF)旨在从一系列具有不同焦点的图像中恢复场景的深度信息。现有基于深度学习的SFF方法通常采用两阶段策略，即首先使用复杂的特征编码器提取焦点体积，然后使用简单的聚合技术估计深度。这种方法的痛点在于，复杂的特征编码器计算量大，而简单的聚合技术容易引入伪影，并放大深度图中的噪声。

核心思路：本文的核心思路是结合传统方法和深度学习的优势。一方面，利用手工设计的方向扩张拉普拉斯 (DDL) 核提取鲁棒的焦点体积，以减少对复杂特征编码器的依赖。另一方面，使用轻量级的、基于多尺度GRU的循环网络迭代地细化深度估计，以避免简单聚合技术带来的问题。这种混合方法旨在提高深度估计的准确性和效率。

技术框架：该方法的技术框架主要包括以下几个阶段：1) 使用DDL核计算多尺度焦点体积；2) 将焦点体积输入到基于多尺度GRU的深度提取模块；3) 使用学习到的凸上采样模块重建高分辨率深度图。深度提取模块以较低的分辨率迭代地细化初始深度估计，以提高计算效率。凸上采样模块用于在重建高分辨率深度图时保留精细的场景细节和清晰的边界。

关键创新：该方法最重要的技术创新点在于混合框架的设计。它结合了传统手工特征提取方法和深度学习方法的优点，避免了单一方法的局限性。具体来说，使用DDL核提取鲁棒的焦点体积，减少了对复杂特征编码器的依赖，同时使用循环网络迭代地细化深度估计，避免了简单聚合技术带来的问题。

关键设计：DDL核的设计考虑了长距离和方向上的焦点变化，以提高焦点体积的鲁棒性。多尺度GRU网络的设计允许在不同分辨率上进行深度估计，以提高计算效率和精度。学习到的凸上采样模块的设计旨在保留高分辨率深度图中的精细细节和清晰边界。具体的损失函数和网络结构等技术细节在论文中进行了详细描述（未知）。

📊 实验亮点

实验结果表明，该方法在合成和真实世界数据集上均优于最先进的深度学习和传统方法。具体性能数据未知，但论文强调了在不同焦点条件下实现了卓越的准确性和泛化能力。该方法在深度估计的准确性和鲁棒性方面均取得了显著提升。

🎯 应用场景

该研究成果可应用于机器人导航、三维重建、显微成像等领域。在机器人导航中，SFF技术可以帮助机器人感知周围环境的深度信息，从而实现自主导航。在三维重建中，SFF技术可以用于重建场景的三维模型。在显微成像中，SFF技术可以用于获取样本的三维结构信息。未来，该技术有望在更多领域得到应用，例如虚拟现实、增强现实等。

📄 摘要（原文）

Shape-from-Focus (SFF) is a passive depth estimation technique that infers scene depth by analyzing focus variations in a focal stack. Most recent deep learning-based SFF methods typically operate in two stages: first, they extract focus volumes (a per pixel representation of focus likelihood across the focal stack) using heavy feature encoders; then, they estimate depth via a simple one-step aggregation technique that often introduces artifacts and amplifies noise in the depth map. To address these issues, we propose a hybrid framework. Our method computes multi-scale focus volumes traditionally using handcrafted Directional Dilated Laplacian (DDL) kernels, which capture long-range and directional focus variations to form robust focus volumes. These focus volumes are then fed into a lightweight, multi-scale GRU-based depth extraction module that iteratively refines an initial depth estimate at a lower resolution for computational efficiency. Finally, a learned convex upsampling module within our recurrent network reconstructs high-resolution depth maps while preserving fine scene details and sharp boundaries. Extensive experiments on both synthetic and real-world datasets demonstrate that our approach outperforms state-of-the-art deep learning and traditional methods, achieving superior accuracy and generalization across diverse focal conditions.