PerSeM: Persistent Semantic Memory for Long-Horizon Open-Vocabulary UAV Mapping

📄 arXiv: 2609.19542v1 📥 PDF

作者: Saurbh Singh Jamwal, Ganesh Ramakrishnan

分类: cs.CV, cs.RO

发布日期: 2026-09-17

💡 一句话要点

提出PerSeM以解决无人机长时间开放词汇映射中的语义不一致问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 无人机映射 开放词汇分割 持久语义记忆 时间一致性 语义感知 3D记忆

📋 核心要点

  1. 现有的无人机映射方法在处理开放词汇分割时，逐帧预测存在时间不一致性，影响语义感知的准确性。
  2. PerSeM通过将逐帧观察与持久的世界空间体素关联，构建基于多数的语义记忆，解决了时间不一致性问题。
  3. 在Forest和UAVScenes基准测试中，PerSeM显著提高了语义准确性和时间稳定性，尤其在语义困难和时间不稳定区域表现突出。

📝 摘要（中文）

开放词汇分割为无人机提供了丰富的语义感知能力，但在重复观察和视角变化中，逐帧预测可能会出现时间不一致的问题。本文提出了PerSeM，一个无训练的持久语义记忆框架，用于长时间开放词汇的无人机映射。PerSeM将逐帧语义观察与持久的世界空间体素关联，并构建基于多数的语义记忆，通过历史保留的空间细化、信任感知重放和上下文引导验证进行保守性优化。实验结果表明，持久的3D记忆在语义正确性和时间稳定性方面显著优于逐帧预测。

🔬 方法详解

问题定义：本文旨在解决无人机在长时间开放词汇映射中逐帧预测的时间不一致性问题。现有方法在不同观察和视角下的语义感知准确性较低，导致语义信息的丢失和不稳定。

核心思路：PerSeM的核心思想是构建一个持久的语义记忆框架，通过将逐帧的语义观察与持久的世界空间体素关联，形成一个基于多数的语义记忆，从而提高语义感知的稳定性和准确性。

技术框架：PerSeM的整体架构包括三个主要模块：首先是逐帧语义观察的收集与关联，其次是基于历史的空间细化，最后是信任感知重放与上下文引导验证。通过这些模块的协同工作，PerSeM能够有效地优化语义记忆。

关键创新：PerSeM的主要创新在于其无训练的持久语义记忆框架，能够在不需要重新训练或额外神经网络推理的情况下，通过保守性优化不确定的记忆状态来提升性能。这一设计与现有方法的根本区别在于其对时间一致性的关注和处理。

关键设计：在PerSeM中，关键设计包括历史保留的空间细化策略、信任感知重放机制以及上下文引导的验证方法。这些设计确保了语义记忆的准确性和稳定性，尤其在面对复杂和不确定的环境时。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果显示，PerSeM在UAVScenes数据集上相较于传统逐帧预测方法，语义准确性和时间稳定性均有显著提升，尤其在语义困难和时间不稳定区域，性能提升幅度达到了XX%。这些结果表明，持久的3D记忆为长时间的语义映射提供了坚实的基础。

🎯 应用场景

PerSeM的研究成果在无人机自动导航、环境监测和灾后评估等领域具有广泛的应用潜力。通过提供更稳定和准确的语义映射，PerSeM能够帮助无人机在复杂环境中进行自主决策，提升任务执行的效率和安全性。未来，该技术还可能扩展到其他领域，如智能城市建设和无人驾驶汽车的环境感知。

📄 摘要（原文）

Open-vocabulary segmentation enables rich semantic perception for UAVs, but frame-wise predictions can remain temporally inconsistent across repeated observations and changing viewpoints. We present PerSeM, a training-free persistent semantic memory framework for long-horizon open-vocabulary UAV mapping. PerSeM associates frame-wise semantic observations with persistent world-space voxels and constructs a majority-based semantic memory, which is conservatively refined through history-preserving spatial refinement, trust-aware replay, and context-guided verification. Experiments on the Forest and UAVScenes benchmarks show that persistent 3D memory provides substantial gains in semantic correctness and temporal stability over frame-wise predictions. Beyond this strong persistent-memory baseline, PerSeM provides consistent additional improvements, improving both semantic accuracy and temporal stability across all five evaluated UAVScenes sequences. Analysis using regions identified independently of the final PerSeM predictions further shows that these gains are concentrated in semantically difficult and temporally unstable regions, where majority-based memory is most likely to remain uncertain. These results demonstrate that persistent 3D aggregation provides a strong foundation for long-horizon semantic mapping, while conservative refinement of uncertain memory states can provide additional improvements without retraining or additional neural-network inference.