LightStereo: Channel Boost Is All You Need for Efficient 2D Cost Aggregation

📄 arXiv: 2406.19833v3 📥 PDF

作者: Xianda Guo, Chenming Zhang, Youmin Zhang, Wenzhao Zheng, Dujun Nie, Matteo Poggi, Long Chen

分类: cs.CV

发布日期: 2024-06-28 (更新: 2025-02-26)

备注: Code will be available at \url{https://github.com/XiandaGuo/OpenStereo}

🔗 代码/项目: GITHUB

💡 一句话要点

LightStereo：通过通道增强实现高效的2D代价聚合立体匹配

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 立体匹配 代价聚合 深度估计 通道增强 轻量级网络

📋 核心要点

  1. 传统立体匹配方法依赖计算量大的4D代价聚合，效率较低，难以满足实时性需求。
  2. LightStereo通过关注3D代价体的通道维度，利用通道增强策略提升匹配精度和效率。
  3. 实验表明，LightStereo在速度、精度和资源利用率方面均优于现有方法，并在KITTI 2015实时模型中排名第一。

📝 摘要（中文）

本文提出了一种名为LightStereo的先进立体匹配网络，旨在加速匹配过程。与依赖计算密集型4D代价聚合的传统方法不同，LightStereo采用3D代价体作为轻量级替代方案。虽然之前已经探索过类似的方法，但我们的突破在于通过专门关注3D代价体的通道维度来提高性能，因为匹配代价的分布被封装在该维度中。我们详尽的探索产生了许多增强关键维度容量的策略，确保了精度和效率。我们将提出的LightStereo与各种基准测试中现有的最先进方法进行比较，结果表明其在速度、准确性和资源利用率方面具有卓越的性能。LightStereo在SceneFlow数据集上实现了具有竞争力的EPE指标，同时仅需要最少的22 GFLOPs和17 ms的运行时间，并在KITTI 2015的实时模型中排名第一。我们的综合分析揭示了2D代价聚合对立体匹配的影响，为高效立体系统的实际应用铺平了道路。代码将在https://github.com/XiandaGuo/OpenStereo上提供。

🔬 方法详解

问题定义：立体匹配旨在从两个或多个视角的图像中恢复场景的深度信息。现有方法，特别是基于4D代价体的方法，计算复杂度高，难以在资源受限的设备上实现实时应用。这些方法需要大量的计算资源和内存带宽，限制了它们在实际场景中的部署。

核心思路：LightStereo的核心思路是利用3D代价体作为轻量级替代方案，并通过专注于通道维度来提高性能。通道维度包含了匹配代价的分布信息，通过增强该维度的容量，可以有效地提高匹配精度，同时保持较低的计算复杂度。这种设计旨在平衡精度和效率，从而实现快速且准确的立体匹配。

技术框架：LightStereo的整体框架包括特征提取、代价体构建、2D代价聚合和视差回归四个主要阶段。首先，使用卷积神经网络提取左右图像的特征。然后，基于这些特征构建3D代价体，该代价体表示不同视差下的匹配代价。接下来，通过一系列的2D卷积操作在通道维度上进行代价聚合，以增强匹配代价的区分性。最后，使用回归方法从聚合后的代价体中估计视差图。

关键创新：LightStereo最重要的技术创新点在于其对3D代价体通道维度的关注和增强。与传统方法不同，LightStereo没有采用计算密集型的4D代价聚合，而是通过精心设计的通道增强策略来提高匹配精度。这种方法显著降低了计算复杂度，同时保持了较高的匹配精度。

关键设计：LightStereo的关键设计包括：1) 使用轻量级的3D代价体结构；2) 采用2D卷积进行代价聚合，降低计算复杂度；3) 设计了多种通道增强策略，例如通道注意力机制和通道shuffle操作，以提高匹配精度；4) 使用平滑的L1损失函数进行视差回归，以提高视差图的质量。具体的网络结构和参数设置根据不同的数据集和应用场景进行调整。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

LightStereo在SceneFlow数据集上实现了具有竞争力的EPE指标，同时仅需要22 GFLOPs和17 ms的运行时间。在KITTI 2015数据集上，LightStereo在实时模型中排名第一，证明了其在速度和精度方面的优越性。这些实验结果表明，LightStereo是一种高效且准确的立体匹配方法，具有很强的实际应用价值。

🎯 应用场景

LightStereo具有广泛的应用前景，包括自动驾驶、机器人导航、三维重建、虚拟现实和增强现实等领域。其高效的计算性能使其能够在资源受限的设备上实现实时立体匹配，从而为这些应用提供准确的深度信息。未来，LightStereo可以进一步优化，以适应更复杂的场景和更高的精度要求。

📄 摘要（原文）

We present LightStereo, a cutting-edge stereo-matching network crafted to accelerate the matching process. Departing from conventional methodologies that rely on aggregating computationally intensive 4D costs, LightStereo adopts the 3D cost volume as a lightweight alternative. While similar approaches have been explored previously, our breakthrough lies in enhancing performance through a dedicated focus on the channel dimension of the 3D cost volume, where the distribution of matching costs is encapsulated. Our exhaustive exploration has yielded plenty of strategies to amplify the capacity of the pivotal dimension, ensuring both precision and efficiency. We compare the proposed LightStereo with existing state-of-the-art methods across various benchmarks, which demonstrate its superior performance in speed, accuracy, and resource utilization. LightStereo achieves a competitive EPE metric in the SceneFlow datasets while demanding a minimum of only 22 GFLOPs and 17 ms of runtime, and ranks 1st on KITTI 2015 among real-time models. Our comprehensive analysis reveals the effect of 2D cost aggregation for stereo matching, paving the way for real-world applications of efficient stereo systems. Code will be available at https://github.com/XiandaGuo/OpenStereo.