DELTA: Dense Depth from Events and LiDAR using Transformer's Attention

📄 arXiv: 2505.02593v1 📥 PDF

作者: Vincent Brebion, Julien Moreau, Franck Davoine

分类: cs.CV

发布日期: 2025-05-05

备注: Accepted for the CVPR 2025 Workshop on Event-based Vision. For the project page, see https://vbrebion.github.io/DELTA/

💡 一句话要点

DELTA：利用Transformer注意力机制融合事件相机与激光雷达数据，实现高精度稠密深度估计。

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 事件相机 激光雷达 深度估计 Transformer 注意力机制 多模态融合 自动驾驶

📋 核心要点

  1. 现有方法难以有效融合事件相机异步光照变化信息与激光雷达稀疏深度信息，限制了深度估计的精度。
  2. DELTA利用Transformer的自注意力和交叉注意力机制，建模事件数据和激光雷达数据内部及两者之间的时空关系。
  3. 实验表明，DELTA在事件相机深度估计任务上超越现有技术，近距离误差降低高达四倍，显著提升了精度。

📝 摘要（中文）

本文提出了一种新颖的基于神经网络的方法DELTA，用于融合事件相机和激光雷达数据，以估计稠密深度图。事件相机异步检测光照变化，而激光雷达以固定速率提供稀疏但精确的深度信息。DELTA架构利用自注意力和交叉注意力的概念，对事件和激光雷达数据内部以及两者之间的空间和时间关系进行建模。经过全面的评估，结果表明DELTA在基于事件的深度估计问题上达到了新的技术水平，并且与之前的SOTA相比，在近距离范围内能够将误差降低高达四倍。

🔬 方法详解

问题定义：论文旨在解决基于事件相机和激光雷达数据进行稠密深度估计的问题。现有方法难以有效融合这两种模态的数据，无法充分利用事件相机的高时间分辨率和激光雷达的精确深度信息，导致深度估计精度受限。尤其是在光照变化剧烈或运动快速的场景下，现有方法的性能会显著下降。

核心思路：论文的核心思路是利用Transformer的注意力机制，显式地建模事件数据和激光雷达数据之间的时空关系。通过自注意力机制，可以捕捉事件数据内部和激光雷达数据内部的空间和时间依赖性；通过交叉注意力机制，可以学习事件数据和激光雷达数据之间的相关性，从而实现更有效的特征融合。

技术框架：DELTA的整体架构包含以下几个主要模块：1) 事件数据编码器：将事件数据转换为特征表示。2) 激光雷达数据编码器：将激光雷达数据转换为特征表示。3) 自注意力模块：分别对事件数据特征和激光雷达数据特征进行自注意力计算，捕捉内部时空依赖性。4) 交叉注意力模块：利用交叉注意力机制融合事件数据特征和激光雷达数据特征。5) 深度解码器：将融合后的特征解码为稠密深度图。

关键创新：最重要的技术创新点在于利用Transformer的注意力机制，特别是交叉注意力机制，实现了事件数据和激光雷达数据之间更有效的融合。与传统的融合方法相比，DELTA能够更好地捕捉两种模态数据之间的复杂关系，从而提高深度估计的精度。

关键设计：论文中使用了标准的Transformer架构，并针对事件数据和激光雷达数据的特点进行了一些调整。例如，在事件数据编码器中，使用了时间切片的方法来处理异步事件流。损失函数方面，使用了深度图的L1损失和Huber损失的组合，以提高模型的鲁棒性。具体的网络结构和参数设置在论文中有详细描述。

🖼️ 关键图片

img_0

📊 实验亮点

实验结果表明，DELTA在事件相机深度估计任务上取得了显著的性能提升，达到了新的技术水平。与之前的SOTA方法相比，DELTA在近距离范围内能够将误差降低高达四倍。此外，DELTA在不同数据集和场景下都表现出了良好的泛化能力，证明了其鲁棒性和实用性。

🎯 应用场景

该研究成果可应用于自动驾驶、机器人导航、增强现实等领域。通过融合事件相机和激光雷达数据，可以提高在复杂环境下的感知能力，例如在光照变化剧烈、运动快速的场景下，能够更准确地估计深度信息，从而提高系统的安全性和可靠性。未来，该技术有望在更多需要高精度深度信息的应用中发挥重要作用。

📄 摘要（原文）

Event cameras and LiDARs provide complementary yet distinct data: respectively, asynchronous detections of changes in lighting versus sparse but accurate depth information at a fixed rate. To this day, few works have explored the combination of these two modalities. In this article, we propose a novel neural-network-based method for fusing event and LiDAR data in order to estimate dense depth maps. Our architecture, DELTA, exploits the concepts of self- and cross-attention to model the spatial and temporal relations within and between the event and LiDAR data. Following a thorough evaluation, we demonstrate that DELTA sets a new state of the art in the event-based depth estimation problem, and that it is able to reduce the errors up to four times for close ranges compared to the previous SOTA.