Uncertainty-aware Semantic Mapping in Off-road Environments with Dempster-Shafer Theory of Evidence

📄 arXiv: 2405.06265v1 📥 PDF

作者: Junyoung Kim, Junwon Seo

分类: cs.RO, cs.CV

发布日期: 2024-05-10

备注: Our project website can be found at https://kjyoung.github.io/Homepage/#/Projects/Fully-Evidential-Semantic-Mapping

💡 一句话要点

提出基于Dempster-Shafer理论的语义地图构建方法，提升非结构化环境感知不确定性建模能力。

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 语义地图构建 Dempster-Shafer理论 证据深度学习 不确定性建模 非结构化环境

📋 核心要点

  1. 现有基于贝叶斯核推理的语义地图构建方法在复杂环境中存在语义预测不可靠的问题。
  2. 论文提出了一种基于Dempster-Shafer证据理论的语义地图框架，融合证据推理和局部空间信息。
  3. 实验结果表明，该框架提高了不确定性地图的可靠性，并在高不确定性场景中优于现有方法。

📝 摘要（中文）

基于贝叶斯核推理(BKI)的语义地图构建通过有效利用局部空间信息，在提供更丰富的环境理解方面显示出潜力。然而，由于不可靠的语义预测，现有方法在感知具有挑战性的环境中构建精确的语义地图或可靠的不确定性地图时面临挑战。为了解决这个问题，我们提出了一个证据语义地图框架，该框架通过采用证据深度学习(EDL)和Dempster组合规则，将Dempster-Shafer证据理论(DST)的证据推理集成到整个地图构建流程中。此外，扩展的信念被设计为在地图构建过程中结合基于其不确定性的局部空间信息。在各种非结构化道路数据集上进行的综合实验表明，我们的框架增强了不确定性地图的可靠性，在具有高感知不确定性的场景中始终优于现有方法，同时显示出与性能最佳的语义地图构建技术相当的语义精度。

🔬 方法详解

问题定义：现有基于贝叶斯核推理的语义地图构建方法在感知条件恶劣的非结构化环境中，由于语义预测的不确定性，难以构建准确的语义地图和可靠的不确定性地图。现有方法无法有效处理感知噪声和模糊性，导致地图质量下降。

核心思路：论文的核心思路是将Dempster-Shafer证据理论(DST)引入语义地图构建流程，利用其证据推理能力来处理语义预测的不确定性。通过证据深度学习(EDL)估计每个像素的信念质量，并使用Dempster组合规则融合不同来源的证据，从而提高语义地图的鲁棒性和可靠性。同时，考虑局部空间信息，进一步提升地图的准确性。

技术框架：该框架主要包含以下几个阶段：1) 使用证据深度学习(EDL)进行语义分割，输出每个像素的类别概率分布以及不确定性估计。2) 利用Dempster-Shafer证据理论，将EDL输出的概率分布转化为基本概率分配(BPA)，表示对不同类别的信念程度。3) 使用Dempster组合规则融合来自不同像素或不同传感器的数据，更新每个像素的信念。4) 基于更新后的信念，构建语义地图和不确定性地图。5) 扩展信念以结合局部空间信息，进一步提高地图精度。

关键创新：该论文的关键创新在于将Dempster-Shafer证据理论引入语义地图构建，并结合证据深度学习来估计像素级别的不确定性。与传统的基于概率的方法相比，DST能够更有效地处理不确定性和冲突信息，从而提高地图的鲁棒性。此外，扩展信念的设计能够有效利用局部空间信息，进一步提升地图的精度。

关键设计：论文采用证据深度学习(EDL)进行像素级别的语义分割，EDL网络结构基于现有的语义分割模型，并添加额外的输出层来估计每个像素的不确定性。损失函数包括交叉熵损失和不确定性损失，用于同时优化语义分割的准确性和不确定性估计的可靠性。Dempster组合规则用于融合来自不同像素或不同传感器的数据，其具体实现方式根据具体的应用场景进行调整。扩展信念的设计考虑了局部邻域内像素的语义信息和不确定性，通过加权平均的方式更新每个像素的信念。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，该框架在非结构化道路数据集上显著提高了不确定性地图的可靠性，尤其是在高感知不确定性的场景中。与现有方法相比，该方法在语义精度上保持了竞争力，同时在不确定性建模方面取得了显著的提升。具体性能数据未知，但摘要强调了优于现有方法。

🎯 应用场景

该研究成果可应用于自动驾驶、机器人导航、环境监测等领域，尤其是在非结构化和复杂环境中，例如越野车辆导航、农业机器人、灾害救援等。通过构建具有可靠不确定性信息的语义地图，可以提高机器人对环境的理解能力，从而实现更安全、更高效的自主导航和决策。

📄 摘要（原文）

Semantic mapping with Bayesian Kernel Inference (BKI) has shown promise in providing a richer understanding of environments by effectively leveraging local spatial information. However, existing methods face challenges in constructing accurate semantic maps or reliable uncertainty maps in perceptually challenging environments due to unreliable semantic predictions. To address this issue, we propose an evidential semantic mapping framework, which integrates the evidential reasoning of Dempster-Shafer Theory of Evidence (DST) into the entire mapping pipeline by adopting Evidential Deep Learning (EDL) and Dempster's rule of combination. Additionally, the extended belief is devised to incorporate local spatial information based on their uncertainty during the mapping process. Comprehensive experiments across various off-road datasets demonstrate that our framework enhances the reliability of uncertainty maps, consistently outperforming existing methods in scenes with high perceptual uncertainties while showing semantic accuracy comparable to the best-performing semantic mapping techniques.