PerSeM: Persistent Semantic Memory for Long-Horizon Open-Vocabulary UAV Mapping

📄 arXiv: 2609.19542v2 📥 PDF

作者: Saurbh Singh Jamwal, Ganesh Ramakrishnan

分类: cs.CV, cs.RO

发布日期: 2026-09-17 (更新: 2026-09-18)

💡 一句话要点

提出PerSeM以解决无人机长时间开放词汇映射中的语义不一致问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 无人机映射 开放词汇分割 持久语义记忆 时间一致性 3D记忆 语义准确性 环境感知

📋 核心要点

  1. 现有的无人机映射方法在处理开放词汇分割时，逐帧预测存在时间不一致性，影响语义感知的准确性。
  2. PerSeM框架通过将逐帧观察与持久的3D记忆结合，采用保守的精炼策略来提高语义映射的稳定性和准确性。
  3. 在Forest和UAVScenes基准测试中，PerSeM展示了在语义正确性和时间稳定性方面的显著提升，尤其是在语义复杂和时间不稳定的区域。

📝 摘要（中文）

开放词汇分割为无人机提供了丰富的语义感知，但在重复观察和视角变化中，逐帧预测可能存在时间不一致性。本文提出了PerSeM，一个无训练的持久语义记忆框架，用于长时间开放词汇的无人机映射。PerSeM将逐帧语义观察与持久的世界空间体素关联，并构建基于多数的语义记忆，通过历史保留的空间细化、信任感知重放和上下文引导验证进行保守的精炼。实验结果表明，持久的3D记忆在语义正确性和时间稳定性上显著优于逐帧预测。

🔬 方法详解

问题定义：本文旨在解决无人机在长时间开放词汇映射中，逐帧语义预测的时间不一致性和准确性不足的问题。现有方法在不同视角和重复观察下，无法有效保持语义信息的稳定性。

核心思路：PerSeM通过构建持久的3D语义记忆，将逐帧观察与世界空间体素关联，采用保守的历史保留策略来精炼语义信息，从而提高映射的准确性和稳定性。

技术框架：PerSeM的整体架构包括三个主要模块：1) 逐帧语义观察的收集与关联；2) 基于多数的语义记忆构建；3) 通过信任感知重放和上下文引导验证进行的记忆精炼。

关键创新：PerSeM的主要创新在于其训练自由的持久语义记忆框架，能够在不进行额外神经网络推理的情况下，通过保守的精炼策略提升语义映射的稳定性和准确性。

关键设计：在设计中，PerSeM采用了历史保留的空间细化技术，结合信任感知重放机制，确保在不确定的记忆状态下进行有效的语义信息更新。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果显示，PerSeM在UAVScenes数据集上相较于基线方法，语义正确性和时间稳定性均有显著提升，尤其是在语义复杂和时间不稳定的区域，表现出更高的准确性和一致性。

🎯 应用场景

该研究的潜在应用领域包括无人机自动导航、环境监测和灾害评估等。通过提高无人机在复杂环境中的语义理解能力，PerSeM能够为实时决策提供更可靠的支持，推动无人机技术在实际应用中的发展。

📄 摘要（原文）

Open-vocabulary segmentation enables rich semantic perception for UAVs, but frame-wise predictions can remain temporally inconsistent across repeated observations and changing viewpoints. We present PerSeM, a training-free persistent semantic memory framework for long-horizon open-vocabulary UAV mapping. PerSeM associates frame-wise semantic observations with persistent world-space voxels and constructs a majority-based semantic memory, which is conservatively refined through history-preserving spatial refinement, trust-aware replay, and context-guided verification. Experiments on the Forest and UAVScenes benchmarks show that persistent 3D memory provides substantial gains in semantic correctness and temporal stability over frame-wise predictions. Beyond this strong persistent-memory baseline, PerSeM provides consistent additional improvements, improving both semantic accuracy and temporal stability across all five evaluated UAVScenes sequences. Analysis using regions identified independently of the final PerSeM predictions further shows that these gains are concentrated in semantically difficult and temporally unstable regions, where majority-based memory is most likely to remain uncertain. These results demonstrate that persistent 3D aggregation provides a strong foundation for long-horizon semantic mapping, while conservative refinement of uncertain memory states can provide additional improvements without retraining or additional neural-network inference.