Event3R: Asynchronous-to-Global 3D Reconstruction from Event Camera via Spatial-Temporal Feature Aggregation

📄 arXiv: 2607.15727 📥 PDF

作者: Jian Huang, Haotian Shen, Xinhao Lou, Chengrui Dong, Wenpu Li, Peidong Liu

分类: cs.CV

发布日期: 2026-07-20

💡 一句话要点

提出Event3R以解决事件相机的3D重建问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics) 支柱七：动作重定向 (Motion Retargeting)

关键词: 事件相机 3D重建 自监督学习 时间注意力 空间-时间体素 机器人感知 增强现实

📋 核心要点

  1. 现有方法在处理事件相机的异步、稀疏和动态特性时面临挑战，缺乏大规模标注数据。
  2. Event3R框架通过空间-时间体素表示事件，利用时间注意力模块实现时间特征的集成。
  3. 实验结果显示，Event3R在3D重建的稳健性和一致性上显著优于现有方法，具有良好的全局对齐性。

📝 摘要（中文）

稳健的3D重建对于机器人和具身感知至关重要。尽管现有的前馈方法如DUSt3R在RGB图像的密集3D重建中取得了显著进展，但将这种密集重建扩展到事件相机仍然面临挑战。本文提出Event3R框架，直接将异步事件流映射为全球一致的3D点云。通过空间-时间体素表示事件，结合时间注意力模块，增强了时间特征学习。此外，提出的自监督预训练策略Masked Bin Modeling（MBM）减少了对标注数据的依赖。实验表明，Event3R在合成和真实世界基准上均表现出色，显著优于现有事件基础方法。

🔬 方法详解

问题定义：本文旨在解决事件相机的3D重建问题，现有方法在处理异步、稀疏数据时表现不佳，且缺乏有效的标注数据支持。

核心思路：提出Event3R框架，通过将事件流映射为空间-时间体素，结合时间注意力模块，增强时间特征的学习能力，从而实现稳健的3D重建。

技术框架：Event3R的整体架构包括事件流的空间-时间体素表示、时间注意力模块、Masked Bin Modeling自监督预训练策略，以及在微调阶段引入的对比对齐和一致性正则化损失。

关键创新：最重要的创新在于Masked Bin Modeling（MBM）策略，该策略允许在缺乏大量标注数据的情况下进行有效的自监督学习，显著提升了时间特征的表示能力。

关键设计：关键设计包括空间-时间体素的构建、时间注意力模块的实现，以及在微调过程中使用的对比损失和一致性正则化损失，这些设计共同促进了3D重建的质量和一致性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，Event3R在合成和真实世界基准上均表现出色，3D重建的稳健性和一致性显著优于现有事件基础方法，具体性能提升幅度达到XX%（具体数据需根据实验结果填写）。

🎯 应用场景

该研究的潜在应用领域包括机器人导航、增强现实和自动驾驶等场景。通过提供稳健的3D重建能力，Event3R能够提升机器人的环境感知和决策能力，推动智能系统的发展。未来，该技术有望在更多动态环境中实现广泛应用。

📄 摘要（原文）

Robust 3D reconstruction is essential for robotics and embodied perception. Recent feed-forward approaches such as DUSt3R have demonstrated impressive progress in dense 3D reconstruction from RGB images, achieving global geometric consistency and strong generalization. However, extending such dense 3D reconstruction to event cameras remains challenging due to their asynchronous, sparse, and highly dynamic nature, as well as the lack of large-scale, well-labeled datasets. In this work, we introduce Event3R, a feed-forward framework that directly maps asynchronous event streams to globally consistent 3D point clouds. Event3R represents incoming events as spatial-temporal voxels, enabling time-aware feature integration through a temporal attention module that enhances the module's temporal feature learning. To further strengthen temporal representation learning and reduce reliance on labeled data, we propose a Masked Bin Modeling (MBM) strategy for self-supervised pre-training, enabling robust temporal representation learning with minimal labeled data, and retain it as an auxiliary fine-tuning objective. In addition, contrastive alignment and consistency regularization losses are incorporated during fine-tuning to reinforce structural correspondence and temporal coherence across views. Extensive experiments on both synthetic and real-world benchmarks demonstrate that Event3R achieves robust, temporally consistent, and globally aligned 3D reconstructions, significantly outperforming existing event-based methods.