SFE-VGGT: Source-Free VGGT Distillation for Event-Based Monocular Depth Estimation

📄 arXiv: 2609.36929v1 📥 PDF

作者: Thai Duy Nguyen, Addison Lin Wang

分类: cs.CV

发布日期: 2026-09-29

💡 一句话要点

提出SFE-VGGT以解决事件摄像头深度估计中的源数据依赖问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 事件摄像头 深度估计 源无关 几何蒸馏 跨模态学习 夜间场景 鲁棒性 零-shot泛化

📋 核心要点

  1. 现有的基于事件的深度估计方法依赖于同步的RGB-事件对或深度标注，限制了其实际应用。
  2. 提出SFE-VGGT框架，通过重建替代帧作为几何教师，消除对源RGB数据的需求，并引入可靠性意识的蒸馏策略。
  3. 实验结果显示，SFE-VGGT在夜间场景中将10米深度误差降低了15.3%，并在真实世界数据集上展现出强大的零-shot泛化能力。

📝 摘要（中文）

近年来，基于事件的深度估计方法通过跨模态蒸馏成功地从视觉基础模型中转移几何先验。然而，这些方法在训练过程中依赖于同步的RGB-事件对或深度标注，严重限制了实际应用。为了解决这一瓶颈，我们提出了SFE-VGGT，这是一种新颖的无源框架，能够在没有配对RGB观测的情况下将VGGT的几何先验蒸馏到事件域。我们的核心思想是直接从目标事件流重建替代帧，作为固定的几何教师，完全消除对真实源RGB数据的需求。实验表明，尽管是无源的，SFE-VGGT在标准条件下的准确性接近依赖RGB的基线，并在夜间场景中显著超越它们。

🔬 方法详解

问题定义：现有的基于事件的深度估计方法在训练时需要同步的RGB-事件对或深度标注，这限制了其在实际应用中的灵活性和可扩展性。

核心思路：SFE-VGGT通过重建替代帧作为几何教师，避免了对源RGB数据的依赖，同时引入了可靠性意识的蒸馏策略，以应对替代帧带来的不完美监督问题。

技术框架：该方法的整体架构包括替代帧重建模块、密度意识特征蒸馏模块和置信加权深度蒸馏模块，以及跨帧关系一致性损失，确保几何稳定性。

关键创新：最重要的技术创新在于提出了无源蒸馏框架和可靠性意识的蒸馏策略，尤其是密度意识特征蒸馏和置信加权深度蒸馏，显著提升了蒸馏效果。

关键设计：在损失函数设计上，跨帧关系一致性损失用于确保时间上的几何稳定性，动态调节监督的置信度以适应不同的教师-学生预测信心。整体网络结构则围绕替代帧的生成与蒸馏过程进行优化。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

实验结果表明，SFE-VGGT在MVSEC夜间序列中将平均10米深度误差降低了15.3%，与EventVGGT相比，尽管不依赖源数据，其准确性在标准条件下接近RGB依赖的基线，并在复杂场景中表现出显著优势。

🎯 应用场景

该研究的潜在应用领域包括自动驾驶、机器人导航和增强现实等场景，尤其是在光照条件不佳的环境中。通过提供源数据无关的深度估计，SFE-VGGT能够在多种实际应用中提升系统的灵活性和鲁棒性，推动事件摄像头技术的广泛应用。

📄 摘要（原文）

Recent event-based depth estimation methods successfully transfer geometric priors from vision foundation models via cross-modal distillation. However, their reliance on synchronized RGB-event pairs or depth annotations during training severely restricts practical deployment. To overcome this bottleneck, we propose SFE-VGGT, a novel source-free framework that distills the geometric priors of VGGT to the event domain without any paired RGB observations. Our core idea is to reconstruct surrogate frames directly from the target event stream to act as a frozen geometric teacher, entirely eliminating the need for genuine source RGB data. Crucially, as these surrogate frames inherently yield imperfect and spatially varying supervision, directly distilling from them propagates artifacts. To resolve this, we introduce a novel reliability-aware distillation strategy. This includes Density-Aware Feature Distillation to emphasize informative event regions, and Confidence-Weighted Depth Distillation to dynamically regulate supervision based on relative teacher-student prediction confidence. Meanwhile, we propose a Cross-Frame Relational Consistency loss that enforces temporal geometric stability using reliable inter-frame correspondences, bypassing the need for temporally consistent teacher's depth. Extensive experiments demonstrate that, despite source-free, our SFE-VGGT closely matches the accuracy of RGB-dependent baselines under standard conditions and significantly surpasses them in challenging nighttime scenarios. Across MVSEC nighttime sequences, SFE-VGGT reduces the average 10 m depth error by 15.3% compared with EventVGGT. Moreover, our method exhibits robust zero-shot generalization across real-world datasets, proving that highly effective geometric priors can be transferred to event cameras using strictly source-free supervision.