VEOcc++: Learning Persistent Voxel Feature Maps for Embodied Online Semantic Occupancy Mapping and Offline Refinement

📄 arXiv: 2610.27704v1 📥 PDF

作者: Ruoyu Wang, Jiahan Li, Yong Liu, Kexin Zhang

分类: cs.CV

发布日期: 2026-10-20

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出VEOcc++以解决在线增量语义占用映射与离线优化问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 语义占用映射 增量映射 离线优化 体素特征图 机器人导航 动态环境 上下文感知

📋 核心要点

  1. 现有方法在处理动态环境时，难以实现高效的在线增量映射和离线优化，导致地图更新滞后。
  2. VEOcc++通过持久的稀疏体素特征图，连接在线增量映射与离线全局优化，提升了语义占用映射的效率与准确性。
  3. 在EmbodiedOcc-ScanNet数据集上，VEOcc++的性能超越了现有方法，IoU提升3.70，mIoU提升3.74，展示了显著的改进。

📝 摘要（中文）

语义占用映射支持在探索过程中的具身感知以及后续的详细场景理解，提出了在线增量映射和离线全局地图优化两种互补需求。本文提出VEOcc++，一个统一的体素中心框架，通过持久的稀疏体素特征图连接这两个阶段。在探索过程中，地图随着新观察区域的扩展而更新，并通过可靠性引导的更新整合对齐的局部特征，同时上下文感知解码生成当前的语义占用图。探索结束后，缓存的局部特征被整合为补充证据，并与完成的在线表示结合进行多尺度空间优化。在EmbodiedOcc-ScanNet上，VEOcc++实现了67.12%的IoU和58.40%的mIoU，建立了在线增量映射的新状态。离线全局地图优化进一步将完成的地图提升至67.79%的IoU和59.37%的mIoU，展示了其在未见环境中的可转移性和大规模室内映射的可扩展性。

🔬 方法详解

问题定义：本文旨在解决动态环境下的在线增量语义占用映射与离线全局优化问题。现有方法在实时更新和准确表示方面存在不足，难以满足具身感知的需求。

核心思路：VEOcc++的核心思路是通过持久的稀疏体素特征图，将在线增量映射与离线优化有效连接，利用可靠性引导的更新机制和上下文感知解码来提升映射的准确性和效率。

技术框架：整体架构分为两个主要阶段：在线增量映射和离线全局优化。在在线阶段，地图随着新区域的观察而扩展，并整合局部特征；在离线阶段，利用缓存的局部特征进行多尺度空间优化。

关键创新：VEOcc++的关键创新在于其持久的稀疏体素特征图设计，使得在线和离线映射过程能够无缝衔接，显著提高了映射的实时性和准确性。

关键设计：在设计中，采用了可靠性引导的特征更新机制，结合上下文感知解码，确保了特征的准确整合与优化。此外，网络结构和损失函数的选择也经过精心设计，以适应动态环境下的需求。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

VEOcc++在EmbodiedOcc-ScanNet数据集上实现了67.12%的IoU和58.40%的mIoU，超越了现有的VEOcc融合方法，提升幅度分别为3.70和3.74，展示了其在在线增量映射中的领先性能。离线全局优化进一步将IoU提升至67.79%，mIoU提升至59.37%。

🎯 应用场景

该研究在机器人导航、自动驾驶、虚拟现实等领域具有广泛的应用潜力。通过实现高效的在线增量映射和离线优化，VEOcc++能够支持复杂环境下的实时决策与场景理解，推动智能系统的进一步发展。

📄 摘要（原文）

Semantic occupancy mapping supports embodied perception during exploration and detailed scene understanding afterward, giving rise to two complementary requirements: online incremental mapping for maintaining an up-to-date global map under causal constraints, and offline global map refinement for improving the completed scene representation with additional computation. We present VEOcc++, a unified voxel-centric framework that connects both stages through a persistent sparse voxel feature map. During exploration, the map expands with newly observed regions and integrates aligned local features through reliability-guided updates, while context-aware decoding produces the current semantic occupancy map. After exploration, cached local features are consolidated as complementary evidence and combined with the completed online representation for multi-scale spatial refinement. On EmbodiedOcc-ScanNet, VEOcc++ achieves 67.12\% IoU and 58.40\% mIoU, establishing new state-of-the-art performance for online incremental mapping. With the local predictor fixed, our online mapping pipeline outperforms VEOcc fusion by 3.70 IoU and 3.74 mIoU points, demonstrating substantial gains from the proposed global mapping design. Offline global map refinement further improves the completed map to 67.79% IoU and 59.37% mIoU using only the observations acquired during exploration. Zero-shot deployment on a mobile robot further demonstrates transferability to unseen environments, onboard feasibility, and scalability to large-scale indoor mapping. Project page: https://wryzju.github.io/VEOccpp/.