Fractal Autoregressive Depth Estimation with Continuous Token Diffusion
作者: Jinchang Zhang, Xinrou Kang, Guoyu Lu
分类: cs.CV
发布日期: 2026-03-16
💡 一句话要点
提出基于分形自回归扩散的单目深度估计框架，解决RGB-D模态差异和生成效率问题。
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 单目深度估计 自回归模型 扩散模型 分形架构 跨模态融合 深度学习 计算机视觉
📋 核心要点
- 传统自回归深度估计受限于RGB-D模态差异，逐像素生成效率低，连续深度预测不稳定。
- 论文提出分形视觉自回归扩散框架，将深度估计转化为由粗到精的自回归生成过程。
- 实验表明，该方法在标准数据集上表现出色，验证了所提设计的有效性。
📝 摘要（中文）
单目深度估计受益于自回归(AR)生成，但直接的AR建模受到RGB和深度之间的模态差异、低效的逐像素生成以及连续深度预测的不稳定性的阻碍。我们提出了一个分形视觉自回归扩散框架，将深度估计重新定义为一个由粗到精、下一尺度的自回归生成过程。VCFR模块融合多尺度图像特征与当前深度预测，以改善跨模态条件作用；条件去噪扩散损失直接在连续空间中对深度分布进行建模，并减轻由离散量化引起的误差。为了提高计算效率，我们将尺度生成器组织成一个分形递归架构，在自相似层次结构中重用一个基本视觉AR单元。我们进一步引入了一种不确定性感知的鲁棒共识聚合方案，用于多样本推理，以提高融合稳定性并提供实用的逐像素可靠性估计。在标准基准上的实验证明了强大的性能，并验证了所提出设计的有效性。
🔬 方法详解
问题定义：单目深度估计旨在从单张RGB图像预测场景的深度图。现有基于自回归的方法虽然有潜力，但面临几个关键挑战：一是RGB图像和深度图之间存在显著的模态差异，直接建模困难；二是逐像素生成方式效率低下；三是直接预测连续深度值时容易出现不稳定情况。这些问题限制了自回归方法在单目深度估计中的应用。
核心思路：论文的核心思路是将深度估计问题转化为一个由粗到精、下一尺度的自回归生成过程。通过分形递归架构，在不同尺度上迭代地细化深度预测，从而逐步逼近真实深度。同时，利用条件去噪扩散模型直接在连续空间中建模深度分布，避免离散量化带来的误差。这种设计旨在克服模态差异、提高生成效率和增强预测稳定性。
技术框架：该框架主要包含以下几个模块：1) VCFR (Visual Cross-scale Feature Refinement) 模块：用于融合多尺度图像特征与当前尺度的深度预测，提供更强的跨模态条件信息。2) 条件去噪扩散模型：用于在连续空间中建模深度分布，通过逐步去噪的方式生成深度图。3) 分形递归架构：将尺度生成器组织成一个分形结构，在自相似层次结构中重用一个基本的视觉自回归单元，提高计算效率。4) 不确定性感知的鲁棒共识聚合方案：用于多样本推理，通过考虑每个像素的不确定性来融合多个深度预测结果，提高融合的稳定性和准确性。
关键创新：该论文的关键创新在于以下几个方面：1) 提出了分形视觉自回归扩散框架，将深度估计转化为一个由粗到精的自回归生成过程。2) 引入了VCFR模块，有效融合了多尺度图像特征和深度预测，增强了跨模态条件作用。3) 使用条件去噪扩散模型直接在连续空间中建模深度分布，避免了离散量化误差。4) 设计了分形递归架构，提高了计算效率。5) 提出了不确定性感知的鲁棒共识聚合方案，提高了多样本推理的稳定性和准确性。
关键设计：VCFR模块的具体实现细节（例如，如何选择和融合多尺度特征），条件去噪扩散模型的损失函数设计（如何平衡生成质量和稳定性），分形递归架构的层数和参数设置，以及不确定性感知的鲁棒共识聚合方案的具体算法（如何估计不确定性并进行加权融合）等技术细节在论文中应该有详细描述，但具体数值未知。
🖼️ 关键图片
📊 实验亮点
实验结果表明，该方法在标准深度估计数据集上取得了显著的性能提升。具体数据未知，但摘要中提到“strong performance”表明性能优于现有方法。不确定性感知的鲁棒共识聚合方案也显著提高了多样本推理的稳定性，提供了更可靠的深度估计结果。
🎯 应用场景
该研究成果可应用于机器人导航、自动驾驶、三维重建、虚拟现实等领域。精确的单目深度估计能够帮助机器人更好地理解周围环境，提升自动驾驶系统的安全性，并为虚拟现实应用提供更逼真的场景渲染。未来，该技术有望在消费级电子设备上实现，例如智能手机和AR/VR头显，从而为用户提供更丰富的视觉体验。
📄 摘要（原文）
Monocular depth estimation can benefit from autoregressive (AR) generation, but direct AR modeling is hindered by the modality gap between RGB and depth, inefficient pixel-wise generation, and instability in continuous depth prediction. We propose a Fractal Visual Autoregressive Diffusion framework that reformulates depth estimation as a coarse-to-fine, next-scale autoregressive generation process. A VCFR module fuses multi-scale image features with current depth predictions to improve cross-modal conditioning, while a conditional denoising diffusion loss models depth distributions directly in continuous space and mitigates errors caused by discrete quantization. To improve computational efficiency, we organize the scale-wise generators into a fractal recursive architecture, reusing a base visual AR unit in a self-similar hierarchy. We further introduce an uncertainty-aware robust consensus aggregation scheme for multi-sample inference to improve fusion stability and provide a practical pixel-wise reliability estimate. Experiments on standard benchmarks demonstrate strong performance and validate the effectiveness of the proposed design.