Weaving Light and Time: Unified Harmonic-Geometric Representation Learning for Dense RGB-Event Parsing

📄 arXiv: 2607.09143v1 📥 PDF

作者: Chenxu Peng, Chongtian zhou, Dicheng Liu, Bo-Wen Yin, Yimian Dai, Xialei Liu, Ming-Ming Cheng, Xiang Li

分类: cs.CV

发布日期: 2026-07-10

🔗 代码/项目: GITHUB

💡 一句话要点

提出Evita以解决RGB-事件解析中的多模态融合问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态融合 RGB-事件解析 深度学习 几何视差 实时感知

📋 核心要点

  1. 现有的多模态视觉方法在RGB-事件融合中面临计算开销大和几何视差等挑战。
  2. 论文提出Evita，通过在每个编码器层嵌入共同学习模块，实现RGB与事件流的深度融合。
  3. 在多个基准测试中，Evita展示了新的性能指标，显著提升了实时多模态感知的准确性与效率。

📝 摘要（中文）

将标准RGB帧与异步事件流融合已成为在恶劣环境中实现稳健感知的重要范式。尽管近年来统一骨干网络在多模态视觉中获得了关注，但将其适应于RGB-事件领域仍然面临根本性挑战。现有架构要么依赖于解耦的双编码器，导致计算开销加倍，要么采用通用的统一设计，未能解决密集强度网格与稀疏运动尖峰之间的几何视差和跨光谱混叠问题。为此，我们提出了Evita，这是首个专门为密集RGB-事件解析设计的统一骨干网络。Evita通过在每个编码器层中显式嵌入一系列内在的共同学习模块，来实现深层次的模态协同。经过在DELIVER、DDD17和DSEC基准上的广泛评估，Evita在实时多模态感知中建立了新的最先进指标，同时提供了优越的准确性-延迟权衡。

🔬 方法详解

问题定义：本论文旨在解决RGB与事件流融合中的几何视差和跨光谱混叠问题。现有方法通常采用解耦的双编码器架构，导致计算效率低下，或使用通用设计，无法有效处理不同模态间的差异。

核心思路：Evita的核心思想是通过在每个编码器层中嵌入内在的共同学习模块，促进模态间的协同学习，从而实现更好的特征提取和融合。

技术框架：Evita的整体架构包括多个编码器层，每层都集成了几何视差校正、谐波光谱共振和瞬态全局路由等模块，以实现自适应空间对齐和事件驱动的非对称注意力机制。

关键创新：Evita的主要创新在于其专门设计的统一骨干网络，能够有效解决密集和稀疏数据之间的表示差异，显著提升了多模态融合的效果。

关键设计：Evita采用了N-ImageNetV2数据集进行预训练，并设计了随机事件表示混合的预训练协议，以增强网络对不同事件格式的适应能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

Evita在DELIVER、DDD17和DSEC基准测试中表现出色，建立了新的最先进指标，尤其在准确性和延迟的权衡上优于现有方法，显示出显著的性能提升。

🎯 应用场景

该研究的潜在应用领域包括自动驾驶、机器人视觉和智能监控等场景，能够在复杂和动态环境中提供更为准确和实时的感知能力。未来，Evita的技术可以进一步推动多模态感知系统的发展，提升其在实际应用中的表现。

📄 摘要（原文）

Fusing standard RGB frames with asynchronous event streams has emerged as a definitive paradigm for robust perception in degraded environments. Although unified backbones have recently gained traction in multi-modal vision, adapting them to the RGB-Event domain remains fundamentally challenging. Existing architectures either resort to decoupled dual encoders that double computational overhead, or adopt generic unified designs that fail to resolve implicit geometric parallax and cross-spectral aliasing under the extreme representational divide between dense intensity grids and sparse kinematic spikes. To transcend these bottlenecks, we present Evita, the first unified backbone specifically engineered for dedicated dense RGB-Event parsing. To achieve profound modal synergy, Evita explicitly embeds a suite of intrinsic co-learning modules directly into every encoder layer. Specifically, it features Geometric Parallax Rectification for adaptive spatial alignment, Harmonic Spectral Resonance for texture transfer exclusively in the complex frequency domain, and Transient Global Routing for event-driven asymmetric attention. To guarantee robust feature extraction against spatial misalignments and decouple representations from specific event encodings, we construct N-ImageNetV2 alongside a stochastic event representation mixing pretraining protocol, empowering the network to seamlessly accommodate arbitrary event formats in downstream tasks. Extensive evaluations across the DELIVER, DDD17, and DSEC benchmarks confirm that Evita establishes new state-of-the-art metrics while delivering a superior accuracy-latency trade-off for real-time multimodal perception.The code are publicly available at: https://github.com/chaineypung/Evita.