LiFR v2: Completion-Augmented Event Propagation for High-Rate Dense Prediction

📄 arXiv: 2609.25803v1 📥 PDF

作者: Tao Wan, Xiaoshan Wu, Yifei Yu, Bo Wang, Xiaoyang Lyu, Muxin Liu, Aoxuan Pan, Zhongrui Wang, Xiaojuan Qi

分类: cs.CV

发布日期: 2026-09-22

备注: 15 pages, 9 figures, 6 tables

💡 一句话要点

提出LiFR v2以解决动态环境中高频率密集预测问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 高频率密集预测 事件相机 动态环境 语义分割 深度估计 多任务学习 实时感知

📋 核心要点

  1. 现有方法在动态环境中面临RGB相机更新率低的问题，导致快速场景变化无法及时捕捉。
  2. 论文提出了LiFR v2框架，通过事件引导补全和历史检索模块，增强了对动态场景的密集预测能力。
  3. 实验结果表明，LiFR v2在多个数据集上表现优异，尤其在SHF-Emerge上显著提高了性能，且处理速度超过100 FPS。

📝 摘要（中文）

在动态环境中，高频率密集感知受到RGB相机低更新率的限制，快速场景变化可能在帧之间发生。事件相机提供了时间上密集但空间上稀疏的测量，补充了空间上密集的RGB观测。直接融合无法充分利用这种互补性，而事件引导的传播在没有有效RGB支持的新出现或遮挡区域上失败。本文提出LiFR v2，一个统一的传播-补全-记忆框架，用于从RGB关键帧和事件中进行因果的实时密集预测。LiFR v2引入了事件引导补全模块（EGCM）来恢复传播不支持的任务相关表示，并引入历史检索模块（HRM）以重用连续查询中的已完成表示。该框架支持语义分割、单目深度估计和多任务密集预测，并进一步引入SHF-Emerge来评估快速物体出现和遮挡。LiFR v2在DSEC上达到74.37%的mIoU，在SHF-Emerge上达到56.13%，在后者上比LiFR-Seg提高了1.85个百分点，同时将SHF-Emerge深度RMSE从1.564米降低到1.118米，且在分割和深度任务中均超过100 FPS，展示了超越RGB帧率的准确高效感知能力。

🔬 方法详解

问题定义：本文旨在解决在动态环境中进行高频率密集预测时，RGB相机更新率低导致的场景变化捕捉不足的问题。现有方法无法有效融合RGB和事件数据，特别是在新出现或被遮挡的区域。

核心思路：LiFR v2框架通过引入事件引导补全模块（EGCM）和历史检索模块（HRM），实现了对任务相关表示的恢复和重用，从而提高了对动态场景的响应能力。

技术框架：该框架包括三个主要模块：事件引导补全模块（EGCM）用于补全缺失的任务相关信息，历史检索模块（HRM）用于在连续查询中重用已完成的表示，整体流程支持语义分割、单目深度估计等多任务密集预测。

关键创新：最重要的创新在于EGCM的设计，使得在没有有效RGB支持的情况下仍能恢复任务相关的表示，解决了传统方法在动态场景中的局限性。

关键设计：在设计上，EGCM和HRM的参数设置经过精细调优，以确保在高频率下的实时性能，同时损失函数的设计也考虑了多任务学习的需求，确保模型在不同任务上的表现均衡。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

LiFR v2在DSEC数据集上达到了74.37%的mIoU，在SHF-Emerge上达到了56.13%，比LiFR-Seg提高了1.85个百分点。同时，SHF-Emerge深度RMSE从1.564米降低到1.118米，且在分割和深度任务中均超过100 FPS，展示了其高效性和准确性。

🎯 应用场景

该研究的潜在应用领域包括自动驾驶、机器人导航和增强现实等动态环境下的实时感知任务。通过提高对快速变化场景的理解能力，LiFR v2能够为智能系统提供更可靠的环境感知，推动相关技术的发展与应用。

📄 摘要（原文）

High-rate dense perception in dynamic environments is limited by the low update rate of RGB cameras, as rapid scene changes can occur between frames. Event cameras offer temporally dense but spatially sparse measurements, complementary to spatially dense RGB observations. Direct fusion cannot fully exploit this complementarity, while event-guided propagation fails on newly appearing or disoccluded regions without valid RGB support. We present LiFR v2, a unified propagation-completion-memory framework for causal anytime and streaming dense prediction from an RGB keyframe and events. LiFR v2 introduces an Event-Guided Completion Module (EGCM) to recover task-relevant representations where propagation is unsupported, and a History Retrieval Module (HRM) to reuse completed representations across successive queries. The framework supports semantic segmentation, monocular depth estimation, and multi-task dense prediction, and we further introduce SHF-Emerge to evaluate rapid object emergence and disocclusion. LiFR v2 achieves 74.37% mIoU on DSEC and 56.13% on SHF-Emerge, improving LiFR-Seg by 1.85 percentage points on the latter, while reducing SHF-Emerge depth RMSE from 1.564 m to 1.118 m over the propagation baseline. It also exceeds 100 FPS for both segmentation and depth, demonstrating accurate and efficient high-rate perception beyond RGB frame rates.