Event-Driven Dynamic Scene Depth Completion

📄 arXiv: 2505.13279v2 📥 PDF

作者: Zhiqiang Yan, Jianhao Jiao, Zhengxue Wang, Gim Hee Lee

分类: cs.CV

发布日期: 2025-05-19 (更新: 2025-05-20)

备注: 9 pages

💡 一句话要点

提出EventDC框架，利用事件相机数据完成动态场景下的深度补全任务。

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 事件相机 深度补全 动态场景 事件调制对齐 局部深度滤波

📋 核心要点

  1. 动态场景下的深度补全受快速运动影响，传统RGB-D传感器难以准确对齐和捕获可靠深度。
  2. EventDC利用事件相机高时间分辨率和运动敏感性，通过事件调制对齐和局部深度滤波实现深度补全。
  3. 论文构建了首个事件相机深度补全基准数据集，实验证明EventDC在该基准上表现优异。

📝 摘要（中文）

由于快速的自身运动和物体运动，动态场景中的深度补全面临着巨大的挑战，这会严重降低RGB图像和激光雷达测量等输入模态的质量。传统的RGB-D传感器通常难以在这种条件下精确对齐和捕获可靠的深度信息。相比之下，事件相机凭借其高时间分辨率和对像素级运动的敏感性，提供了互补的线索，这在动态环境中尤其有益。为此，我们提出了EventDC，这是第一个事件驱动的深度补全框架。它由两个关键组件组成：事件调制对齐（EMA）和局部深度滤波（LDF）。这两个模块自适应地学习卷积运算的两个基本组成部分：偏移量和权重，这些偏移量和权重以对运动敏感的事件流为条件。在编码器中，EMA利用事件来调制RGB-D特征的采样位置，以实现像素重新分布，从而改进对齐和融合。在解码器中，LDF通过学习来自事件的运动感知掩码来细化移动物体周围的深度估计。此外，EventDC还包含两个损失项，以进一步促进全局对齐并增强局部深度恢复。此外，我们建立了第一个基于事件的深度补全基准，包括一个真实世界和两个合成数据集，以促进未来的研究。在该基准上的大量实验证明了我们的EventDC的优越性。

🔬 方法详解

问题定义：论文旨在解决动态场景下深度补全的问题。现有方法，如基于RGB-D的深度补全，在动态场景中由于快速的相机运动和物体运动，RGB图像和LiDAR数据质量下降，导致深度补全效果不佳。传统RGB-D传感器难以在这种条件下精确对齐和捕获可靠的深度信息。

核心思路：论文的核心思路是利用事件相机提供的高时间分辨率和对运动的敏感性，作为深度补全的补充信息。通过事件相机的数据来辅助RGB-D数据的对齐和深度估计，从而提高动态场景下的深度补全精度。这样设计的目的是充分利用事件相机在动态环境下的优势，弥补传统RGB-D传感器的不足。

技术框架：EventDC框架主要包含两个关键模块：事件调制对齐（EMA）和局部深度滤波（LDF）。在编码器阶段，EMA利用事件信息调制RGB-D特征的采样位置，实现像素重分布，从而改善特征对齐和融合。在解码器阶段，LDF通过学习事件信息中的运动感知掩码，细化移动物体周围的深度估计。此外，框架还包含两个额外的损失函数，用于全局对齐和局部深度恢复。

关键创新：论文的关键创新在于提出了事件驱动的深度补全框架EventDC，这是首个利用事件相机数据进行深度补全的研究。与传统方法不同，EventDC不是直接依赖RGB-D数据，而是将事件数据作为重要的辅助信息，用于特征对齐和深度估计。通过事件调制对齐和局部深度滤波，EventDC能够更好地处理动态场景中的运动模糊和遮挡问题。

关键设计：EMA模块通过学习事件信息来调制卷积操作的采样位置，实现自适应的特征对齐。LDF模块则学习运动感知的掩码，用于过滤掉移动物体周围的噪声深度估计。论文还设计了两个损失函数：一个用于全局对齐，另一个用于增强局部深度恢复。具体的网络结构和参数设置在论文中有详细描述，但具体数值未知。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文构建了首个事件相机深度补全基准数据集，包含真实世界和合成数据。实验结果表明，EventDC在该基准上显著优于现有方法，证明了事件相机在动态场景深度补全中的有效性。具体的性能提升数据未知，但摘要中明确指出EventDC表现出“优越性”。

🎯 应用场景

该研究成果可应用于自动驾驶、机器人导航、增强现实等领域。在这些场景中，快速运动和动态环境是常态，传统的深度感知方法往往失效。EventDC利用事件相机数据，能够提供更鲁棒和准确的深度信息，从而提高系统的感知能力和决策水平。未来，该技术有望在更多动态场景中得到应用，例如运动捕捉、无人机避障等。

📄 摘要（原文）

Depth completion in dynamic scenes poses significant challenges due to rapid ego-motion and object motion, which can severely degrade the quality of input modalities such as RGB images and LiDAR measurements. Conventional RGB-D sensors often struggle to align precisely and capture reliable depth under such conditions. In contrast, event cameras with their high temporal resolution and sensitivity to motion at the pixel level provide complementary cues that are %particularly beneficial in dynamic environments.To this end, we propose EventDC, the first event-driven depth completion framework. It consists of two key components: Event-Modulated Alignment (EMA) and Local Depth Filtering (LDF). Both modules adaptively learn the two fundamental components of convolution operations: offsets and weights conditioned on motion-sensitive event streams. In the encoder, EMA leverages events to modulate the sampling positions of RGB-D features to achieve pixel redistribution for improved alignment and fusion. In the decoder, LDF refines depth estimations around moving objects by learning motion-aware masks from events. Additionally, EventDC incorporates two loss terms to further benefit global alignment and enhance local depth recovery. Moreover, we establish the first benchmark for event-based depth completion comprising one real-world and two synthetic datasets to facilitate future research. Extensive experiments on this benchmark demonstrate the superiority of our EventDC.