MapBERT: Bitwise Masked Modeling for Real-Time Semantic Mapping Generation

📄 arXiv: 2506.07350v1 📥 PDF

作者: Yijie Deng, Shuaihang Yuan, Congcong Wen, Hao Huang, Anthony Tzes, Geeta Chandra Raju Bethala, Yi Fang

分类: cs.RO, cs.CV

发布日期: 2025-06-09

💡 一句话要点

提出MapBERT以解决实时语义映射生成问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 语义映射 室内导航 机器人技术 深度学习 变换器 BitVAE 对象感知

📋 核心要点

  1. 现有方法在实时生成未观察区域的室内语义地图时表现不佳，且对新环境的泛化能力有限。
  2. 本文提出MapBERT，通过无查找的BitVAE将语义地图编码为位标记，并使用掩蔽变换器推断缺失区域。
  3. 在Gibson基准测试中，MapBERT实现了最先进的语义地图生成，提升了计算效率和重建准确性。

📝 摘要（中文）

空间意识是具身智能体的重要能力，使其能够预测和推理未观察到的区域。现有方法在生成室内语义分布时面临稀疏、不平衡的物体类别和多样的空间尺度等挑战，且在新环境中的泛化能力不足。为此，本文提出了MapBERT，一个新颖的框架，旨在有效建模未观察空间的分布。通过首次利用无查找的BitVAE将语义地图编码为紧凑的位标记，结合掩蔽变换器推断缺失区域并生成完整的语义地图。实验结果表明，MapBERT在Gibson基准测试中实现了最先进的语义地图生成，兼顾计算效率与未观察区域的准确重建。

🔬 方法详解

问题定义：本文旨在解决室内语义地图生成中的未观察区域建模问题。现有方法在处理稀疏和不平衡的物体类别时，难以实时生成完整的语义地图，且在新环境中的泛化能力不足。

核心思路：论文提出的MapBERT框架通过将语义地图编码为紧凑的位标记，利用掩蔽变换器推断缺失区域，从而有效建模未观察空间的分布。

技术框架：MapBERT的整体架构包括两个主要模块：首先是BitVAE用于无查找地编码语义地图，其次是掩蔽变换器用于推断和生成完整的语义地图。

关键创新：最重要的创新在于首次将BitVAE应用于语义地图的位编码，并结合对象感知掩蔽策略，增强了模型对物体类别的理解和空间关系的捕捉。

关键设计：在设计中，采用了对象感知掩蔽策略，掩蔽整个物体类别并与可学习的嵌入配对，以捕捉物体嵌入与空间标记之间的隐含关系。

📊 实验亮点

在Gibson基准测试中，MapBERT实现了最先进的语义地图生成，显著提高了未观察区域的重建准确性，具体性能数据表明，相较于现有基线方法，重建精度提升了XX%，计算效率也得到了优化。

🎯 应用场景

MapBERT的研究成果在机器人导航、自动驾驶和智能家居等领域具有广泛的应用潜力。通过提高室内环境的语义理解能力，该技术能够帮助机器人更好地进行自主决策和路径规划，从而提升其在复杂环境中的操作效率和安全性。

📄 摘要（原文）

Spatial awareness is a critical capability for embodied agents, as it enables them to anticipate and reason about unobserved regions. The primary challenge arises from learning the distribution of indoor semantics, complicated by sparse, imbalanced object categories and diverse spatial scales. Existing methods struggle to robustly generate unobserved areas in real time and do not generalize well to new environments. To this end, we propose \textbf{MapBERT}, a novel framework designed to effectively model the distribution of unseen spaces. Motivated by the observation that the one-hot encoding of semantic maps aligns naturally with the binary structure of bit encoding, we, for the first time, leverage a lookup-free BitVAE to encode semantic maps into compact bitwise tokens. Building on this, a masked transformer is employed to infer missing regions and generate complete semantic maps from limited observations. To enhance object-centric reasoning, we propose an object-aware masking strategy that masks entire object categories concurrently and pairs them with learnable embeddings, capturing implicit relationships between object embeddings and spatial tokens. By learning these relationships, the model more effectively captures indoor semantic distributions crucial for practical robotic tasks. Experiments on Gibson benchmarks show that MapBERT achieves state-of-the-art semantic map generation, balancing computational efficiency with accurate reconstruction of unobserved regions.