SteROI-D: System Design and Mapping for Stereo Depth Inference on Regions of Interest

📄 arXiv: 2502.09528v1 📥 PDF

作者: Jack Erhardt, Ziang Li, Reid Pinkham, Andrew Berkovich, Zhengya Zhang

分类: cs.CV, cs.AR

发布日期: 2025-02-13

备注: Accepted as a full paper by the 2025 EDGE AI FOUNDATION Austin

💡 一句话要点

SteROI-D：面向感兴趣区域的立体深度推理系统设计与映射方法

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 立体深度估计 感兴趣区域 低功耗设计 异构计算 AR/VR 系统设计 映射方法

📋 核心要点

  1. 现有立体深度估计算法在AR/VR设备上运行时能耗高，限制了其在电池供电设备上的有效应用。
  2. SteROI-D通过关注感兴趣区域(ROI)和利用时间稀疏性，在系统层面降低能耗，并采用异构计算架构。
  3. 实验结果表明，SteROI-D原型设计相比于基线ASIC，在总系统能耗上实现了显著的降低，最高可达4.35倍。

📝 摘要（中文）

本文提出了一种名为SteROI-D的完整立体深度系统，并结合了一种映射方法，旨在降低在增强现实/虚拟现实(AR/VR)设备上运行高质量立体深度估计时的能耗问题。SteROI-D在系统层面利用感兴趣区域(ROI)和时间稀疏性来节省能量。其灵活的异构计算架构支持各种ROI。重要的是，本文引入了一种系统化的映射方法，以有效地处理动态ROI，从而最大化能量节省。实验结果表明，与基线ASIC相比，我们的28nm原型SteROI-D设计在总系统能量上实现了高达4.35倍的降低。

🔬 方法详解

问题定义：论文旨在解决AR/VR设备上立体深度估计的高能耗问题。现有的全图像处理方法在电池供电设备上效率低下，无法满足实时性和低功耗的需求。因此，需要一种更高效的立体深度估计方法，能够在保证精度的前提下显著降低能耗。

核心思路：论文的核心思路是利用图像中的感兴趣区域(ROI)和时间上的稀疏性来减少计算量，从而降低能耗。通过只对ROI进行深度估计，并利用连续帧之间ROI的相似性，可以避免对整个图像进行重复计算。此外，采用异构计算架构可以针对不同的ROI选择最合适的计算单元，进一步提高能效。

技术框架：SteROI-D系统包含以下主要模块：1) ROI检测模块，用于识别图像中的感兴趣区域；2) 立体匹配模块，用于计算ROI的深度信息；3) 深度融合模块，用于将不同ROI的深度信息融合到一起；4) 映射模块，用于将算法映射到硬件上，并优化硬件资源的使用。整个流程首先通过ROI检测模块确定需要进行深度估计的区域，然后利用立体匹配模块计算这些区域的深度信息，最后将这些深度信息融合到一起，得到最终的深度图。

关键创新：论文的关键创新在于提出了一种系统化的映射方法，可以有效地处理动态ROI。传统的映射方法通常是针对静态图像设计的，无法适应ROI的变化。而本文提出的映射方法可以根据ROI的大小、形状和位置动态地调整硬件资源的分配，从而最大化能量节省。此外，SteROI-D的异构计算架构也是一个重要的创新点，它可以根据不同的ROI选择最合适的计算单元，进一步提高能效。

关键设计：SteROI-D的关键设计包括：1) ROI检测算法的选择，需要权衡精度和计算复杂度；2) 立体匹配算法的选择，需要考虑精度、速度和能耗；3) 异构计算架构的设计，需要根据不同的ROI选择合适的计算单元；4) 映射方法的优化，需要考虑硬件资源的限制和ROI的变化。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

SteROI-D原型设计在28nm工艺下实现，实验结果表明，与基线ASIC相比，SteROI-D在总系统能耗上实现了高达4.35倍的降低。这一显著的能耗降低主要归功于ROI和时间稀疏性的利用，以及系统化的映射方法。该结果验证了SteROI-D在降低立体深度估计能耗方面的有效性，并为未来的低功耗立体视觉系统设计提供了重要的参考。

🎯 应用场景

SteROI-D技术可广泛应用于AR/VR设备、机器人导航、自动驾驶等领域。通过降低立体深度估计的能耗，可以延长AR/VR设备的电池续航时间，提高机器人的自主导航能力，并为自动驾驶系统提供更可靠的环境感知信息。该研究的成果有助于推动这些领域的发展，并为人们带来更便捷、更智能的生活体验。

📄 摘要（原文）

Machine learning algorithms have enabled high quality stereo depth estimation to run on Augmented and Virtual Reality (AR/VR) devices. However, high energy consumption across the full image processing stack prevents stereo depth algorithms from running effectively on battery-limited devices. This paper introduces SteROI-D, a full stereo depth system paired with a mapping methodology. SteROI-D exploits Region-of-Interest (ROI) and temporal sparsity at the system level to save energy. SteROI-D's flexible and heterogeneous compute fabric supports diverse ROIs. Importantly, we introduce a systematic mapping methodology to effectively handle dynamic ROIs, thereby maximizing energy savings. Using these techniques, our 28nm prototype SteROI-D design achieves up to 4.35x reduction in total system energy compared to a baseline ASIC.