Stereovision Image Processing for Planetary Navigation Maps with Semi-Global Matching and Superpixel Segmentation
作者: Yan-Shan Lu, Miguel Arana-Catania, Saurabh Upadhyay, Leonard Felicetti
分类: astro-ph.IM, astro-ph.EP, cs.CV, cs.RO
发布日期: 2025-09-06
备注: 8 pages, 6 figures, 2 tables. ESA ASTRA 2025
💡 一句话要点
提出基于半全局匹配与超像素分割的立体视觉行星导航地图生成方法
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 立体视觉 半全局匹配 超像素分割 行星导航 火星探测
📋 核心要点
- 现有火星探测方法在低纹理、遮挡和重复图案区域的深度估计中存在不足，因为它们依赖于局部块匹配和有限的邻域信息。
- 本文提出了一种基于半全局匹配（SGM）和超像素分割的立体视觉方法，旨在提高深度图的质量和结构一致性，尤其是在复杂地形中。
- 实验结果表明，该方法在火星模拟环境和其他数据集上均表现出优越的性能，能够更准确地捕捉表面细节并减少遮挡区域的误差。
📝 摘要（中文）
火星探测需要精确可靠的地形模型，以确保探测车在不可预测且危险的地形上安全导航。立体视觉在探测车的感知中起着关键作用，通过立体匹配生成精确的深度图来实现场景重建。目前火星探测采用传统的局部块匹配，在方形窗口上聚合代价，并通过平滑约束来优化视差。然而，这种方法在低纹理图像、遮挡和重复模式下表现不佳，因为它只考虑有限的相邻像素，缺乏对场景上下文的理解。本文采用半全局匹配（SGM）与基于超像素的优化来缓解固有的块状伪影并恢复丢失的细节。该方法平衡了SGM的效率和准确性，并增加了上下文感知的分割，以支持更连贯的深度推断。该方法在三个数据集上进行了评估并取得了成功：在火星模拟环境中，获得的地形图显示出改进的结构一致性，尤其是在倾斜或易于遮挡的区域。原始视差输出中常见的岩石后面的大间隙减少，并且更准确地捕获了诸如小岩石和边缘之类的表面细节。另外两个数据集用于测试该方法的一般鲁棒性和适应性，显示出更精确的视差图和更一致的地形模型，更适合火星自主导航的需求，并在非遮挡和全图像误差指标上都具有竞争力的准确性。本文概述了从寻找对应特征到生成最终2D导航地图的整个地形建模过程，提供了一个完整的流程，适合集成到未来的行星探测任务中。
🔬 方法详解
问题定义：现有的火星探测车导航依赖的立体视觉方法，如局部块匹配，在处理低纹理、遮挡和重复图案区域时，容易产生深度估计误差，导致导航地图不准确。这些方法只考虑有限的邻域像素，缺乏对场景上下文的理解，从而影响了探测车在复杂地形中的安全性和效率。
核心思路：本文的核心思路是结合半全局匹配（SGM）的全局优化能力和超像素分割的上下文感知能力，以提高深度图的质量和结构一致性。SGM能够考虑多个方向的像素信息，减少局部匹配的歧义性。超像素分割则可以将图像分割成具有语义意义的区域，从而在深度估计过程中利用上下文信息，提高深度估计的准确性。
技术框架：该方法主要包含以下几个阶段：1) 立体图像获取；2) 基于SGM的初始视差图生成；3) 超像素分割，将图像分割成多个超像素区域；4) 基于超像素的视差优化，利用超像素内的像素信息对视差图进行平滑和校正；5) 地形建模，将视差图转换为三维地形模型，并生成二维导航地图。
关键创新：该方法最重要的技术创新点在于将SGM与超像素分割相结合，利用超像素的上下文信息来优化SGM生成的视差图。这种方法能够有效地减少块状伪影，恢复丢失的细节，并提高深度估计的准确性和鲁棒性。与传统的局部块匹配方法相比，该方法能够更好地处理低纹理、遮挡和重复图案区域。
关键设计：在SGM中，使用了多个方向的惩罚项来优化视差图。超像素分割采用了SLIC算法，该算法能够生成紧凑且规则的超像素区域。在基于超像素的视差优化中，使用了加权平均的方法，根据像素与超像素中心的距离来确定权重，从而实现视差的平滑和校正。
📊 实验亮点
实验结果表明，该方法在火星模拟环境和其他数据集上均表现出优越的性能。与传统的局部块匹配方法相比，该方法能够更准确地捕捉表面细节，减少遮挡区域的误差，并提高地形模型的结构一致性。具体而言，在倾斜或易于遮挡的区域，该方法能够显著减少原始视差输出中常见的岩石后面的大间隙。
🎯 应用场景
该研究成果可应用于火星探测车的自主导航系统，提高探测车在复杂地形中的导航能力和安全性。此外，该方法还可以应用于其他行星探测任务，例如月球探测和彗星探测。该技术在机器人视觉、三维重建、自动驾驶等领域也具有潜在的应用价值。
📄 摘要（原文）
Mars exploration requires precise and reliable terrain models to ensure safe rover navigation across its unpredictable and often hazardous landscapes. Stereoscopic vision serves a critical role in the rover's perception, allowing scene reconstruction by generating precise depth maps through stereo matching. State-of-the-art Martian planetary exploration uses traditional local block-matching, aggregates cost over square windows, and refines disparities via smoothness constraints. However, this method often struggles with low-texture images, occlusion, and repetitive patterns because it considers only limited neighbouring pixels and lacks a wider understanding of scene context. This paper uses Semi-Global Matching (SGM) with superpixel-based refinement to mitigate the inherent block artefacts and recover lost details. The approach balances the efficiency and accuracy of SGM and adds context-aware segmentation to support more coherent depth inference. The proposed method has been evaluated in three datasets with successful results: In a Mars analogue, the terrain maps obtained show improved structural consistency, particularly in sloped or occlusion-prone regions. Large gaps behind rocks, which are common in raw disparity outputs, are reduced, and surface details like small rocks and edges are captured more accurately. Another two datasets, evaluated to test the method's general robustness and adaptability, show more precise disparity maps and more consistent terrain models, better suited for the demands of autonomous navigation on Mars, and competitive accuracy across both non-occluded and full-image error metrics. This paper outlines the entire terrain modelling process, from finding corresponding features to generating the final 2D navigation maps, offering a complete pipeline suitable for integration in future planetary exploration missions.