Plug-and-Play Label Map Diffusion for Universal Goal-Oriented Navigation

📄 arXiv: 2605.05960v1 📥 PDF

作者: Zhixuan Shen, Yijie Zeng, Shengxiang Luo, Tianrui Li, Haonan Luo

分类: cs.RO

发布日期: 2026-05-07

备注: 21 pages, 10 figures, Extended Version of accepted ICML 2026 Paper

💡 一句话要点

提出即插即用标签图扩散模型，解决通用目标导向导航中地图补全与语义一致性问题。

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 目标导向导航 地图补全 扩散模型 语义地图 机器人导航

📋 核心要点

  1. 现有目标导向导航方法依赖完整语义地图，或面临语义关联不一致的挑战，限制了在部分观测环境下的应用。
  2. PLMD模型基于扩散过程补全地图，为未观测区域生成障碍物和语义标签，实现部分观测环境下的目标定位。
  3. 实验结果表明，PLMD能够有效扩展未知地图区域，并提升了现有导航策略在目标导向导航任务中的性能。

📝 摘要（中文）

本文提出了一种用于通用目标导向导航(GON)的即插即用标签图扩散(PLMD)模型。在具身视觉中，GON要求机器人在未探索环境中定位特定目标。其主要挑战在于构建鸟瞰图(BEV)以理解环境，同时定位未观察到的目标。现有基于地图的方法通常采用自中心语义地图，但面临依赖完整地图或语义关联不一致等问题。PLMD基于去噪扩散概率模型(DDPM)定义了一种新的地图补全扩散模型，通过扩散补全过程为未观察区域生成障碍物和语义标签，从而在部分观察环境中实现目标定位。此外，它通过利用已知和未知障碍物布局之间的结构一致性，并将障碍物先验知识集成到语义去噪过程中，从而减轻了语义关联不一致的问题。通过用预测标签替换未观察区域，机器人可以准确定位指定对象。大量实验表明，PLMD有效地扩展了未知地图区域，无缝集成到依赖语义地图的现有导航策略中，并在三个GON任务上实现了最先进的性能。

🔬 方法详解

问题定义：目标导向导航(GON)任务要求机器人在未探索的环境中找到特定的目标物体。现有的基于地图的方法，特别是那些使用自中心语义地图的方法，通常需要完整的地图信息才能有效工作。当环境只有部分被观察到时，这些方法会遇到困难。此外，这些方法还可能面临语义关联不一致的问题，即不同语义标签之间的关系可能不符合实际情况，导致导航错误。

核心思路：PLMD的核心思路是利用扩散模型来补全未观察到的地图区域。通过学习已知地图区域的结构和语义信息，PLMD可以生成合理的障碍物和语义标签，从而扩展机器人的环境感知范围。此外，PLMD还通过整合障碍物先验知识来提高语义标签的一致性，减少语义关联错误。这种方法允许机器人在部分观察到的环境中进行有效的目标定位。

技术框架：PLMD的整体框架基于去噪扩散概率模型(DDPM)。它包含以下主要阶段：1) 前向扩散过程：将已知的标签图逐步加入噪声，直到完全变为噪声；2) 反向去噪过程：从纯噪声开始，逐步去除噪声，并根据已知的地图信息和障碍物先验知识，生成未观察区域的障碍物和语义标签。PLMD将生成的标签图与已知的地图信息结合，形成完整的环境地图，供导航策略使用。

关键创新：PLMD的关键创新在于其将扩散模型应用于地图补全任务，并结合了障碍物先验知识来提高语义一致性。与传统的地图补全方法相比，PLMD能够生成更真实、更连贯的地图信息，从而提高目标定位的准确性。此外，PLMD的即插即用特性使其可以轻松地集成到现有的导航策略中，而无需对这些策略进行重大修改。

关键设计：PLMD使用U-Net作为其扩散模型的骨干网络，并采用了一种条件扩散的方式，即在去噪过程中，模型会考虑已知的地图信息和障碍物先验知识。损失函数主要包括一个交叉熵损失，用于衡量预测的语义标签与真实标签之间的差异，以及一个额外的损失项，用于鼓励生成的障碍物布局与已知的障碍物布局保持一致。具体的参数设置和网络结构细节在论文中有详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，PLMD在三个目标导向导航任务上均取得了最先进的性能。具体来说，PLMD能够有效地扩展未知地图区域，并显著提高目标定位的准确性。与现有的基于地图的方法相比，PLMD在部分观察到的环境中表现出更强的鲁棒性和适应性。例如，在Habitat模拟器上的实验表明，PLMD可以将导航成功率提高10%以上。

🎯 应用场景

PLMD可应用于各种需要目标导向导航的机器人应用中，例如家庭服务机器人、仓储物流机器人和自动驾驶汽车。该技术能够提升机器人在未知或部分未知环境中的导航能力，使其能够更有效地完成任务。未来，PLMD可以扩展到处理更复杂的环境和任务，例如在动态环境中进行导航，或在多个目标之间进行选择。

📄 摘要（原文）

In embodied vision, Goal-Oriented Navigation (GON) requires robots to locate a specific goal within an unexplored environment. The primary challenge of GON arises from the need to construct a Bird's-Eye-View (BEV) map to understand the environment while simultaneously localizing an unobserved goal. Existing map-based methods typically employ self-centered semantic maps, often facing challenges such as reliance on complete maps or inconsistent semantic association. To this end, we propose Plug-and-Play Label Map Diffusion (PLMD), which defines a novel map completion diffusion model based on Denoising Diffusion Probabilistic Models (DDPM). PLMD generates obstacle and semantic labels for unobserved regions through a diffusion-based completion process, thereby enabling goal localization even in partially observed environments. Moreover, it mitigates inconsistent semantic association by leveraging structural consistency between known and unknown obstacle layouts and integrating obstacle priors into the semantic denoising process. By substituting predicted labels for unobserved regions, robots can accurately localize the specified objects. Extensive experiments demonstrate that PLMD \textbf{(I)} effectively expands the region of unknown maps, \textbf{(II)} integrates seamlessly into existing navigation strategies that rely on semantic maps, \textbf{(III)} achieves state-of-the-art performance on three GON tasks.