HGWM: Hierarchical Graph-Guided World Model for Zero-Shot Object Navigation via Graph Matching

📄 arXiv: 2610.32554v1 📥 PDF

作者: I-tak Ieong, Hao Tang

分类: cs.RO, cs.MA

发布日期: 2026-10-23

💡 一句话要点

提出HGWM以解决零-shot物体导航问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 零-shot导航 空间-语义记忆 图匹配 智能体决策 深度学习

📋 核心要点

  1. 现有的物体导航方法在处理未见目标时表现不佳，缺乏有效的空间-语义记忆机制。
  2. HGWM通过结合LLM生成的先验信息与持久记忆，采用分阶段评分和融合策略来优化导航决策。
  3. 实验结果显示，HGWM在多个数据集上均优于基线方法，成功率和路径效率都有所提升。

📝 摘要（中文）

零-shot物体导航要求具身智能体在保留先前观察证据的同时选择搜索位置。HGWM将LLM生成的房间锚点先验与持久的空间-语义记忆相结合。粗略阶段为候选方向分配视觉-语义分数，细致阶段则测量观察到的物体、房间上下文与目标先验之间的符号兼容性。相位依赖融合将这些分数与LLM方向推荐结合，随后进行局部动作选择。在HM3D v0.1上，HGWM配置的成功率为62.6%，路径长度加权成功率为31.5%，相较于WMNav的58.1%和31.2%。在MP3D上，HGWM的成功率为46.8%，路径长度加权成功率为17.9%。这些结果表明HGWM在成功点估计和路径效率上有显著提升。

🔬 方法详解

问题定义：本论文旨在解决零-shot物体导航中的选择搜索位置的问题，现有方法在处理未见目标时缺乏有效的空间-语义记忆，导致导航效率低下。

核心思路：HGWM通过将LLM生成的房间锚点先验与持久的空间-语义记忆结合，采用分阶段的评分机制来优化导航决策，从而提高成功率和路径效率。

技术框架：HGWM的整体架构包括两个主要阶段：粗略阶段和细致阶段。粗略阶段为候选方向分配视觉-语义分数，细致阶段则测量观察到的物体与目标先验之间的符号兼容性。相位依赖融合将这些分数与LLM的方向推荐结合，最终进行局部动作选择。

关键创新：HGWM的主要创新在于将LLM生成的先验信息与持久的空间-语义记忆相结合，采用分阶段评分和融合策略，这与现有方法的单一评分机制形成了本质区别。

关键设计：在参数设置上，HGWM使用0-10的评分尺度来评估候选方向的视觉-语义兼容性，损失函数设计考虑了符号兼容性与方向推荐的结合，确保了模型的有效性和稳定性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

HGWM在HM3D v0.1上实现了62.6%的成功率和31.5%的路径长度加权成功率，较WMNav有显著提升。在MP3D上，成功率为46.8%，路径长度加权成功率为17.9%。这些结果表明HGWM在成功点估计和路径效率上均有优势。

🎯 应用场景

HGWM的研究成果可广泛应用于机器人导航、智能家居、虚拟现实等领域，能够提升智能体在复杂环境中的自主决策能力。未来，该方法有潜力推动更高效的物体识别与导航技术的发展，促进智能系统的普及与应用。

📄 摘要（原文）

Zero-shot object navigation requires an embodied agent to choose where to search while retaining evidence from previous observations. HGWM couples an LLM-generated room-anchor prior with persistent spatial-semantic memory. A coarse stage assigns visual-semantic scores to candidate headings on a 0-10 scale; a fine stage measures symbolic compatibility between observed objects, room context, and the goal prior. Phase-dependent fusion combines these scores with an LLM direction recommendation before local action selection. On HM3D v0.1, the reported HGWM configuration achieves 62.6% success rate (SR) and 31.5% success weighted by path length (SPL), compared with 58.1% and 31.2% for WMNav. On MP3D, the corresponding values are 46.8% and 17.9%, compared with 45.4% and 17.2%. The results indicate higher success point estimates and modest path-efficiency gains. On HM3D v0.2, the full model obtains 74.4% SR and 31.9% SPL. Additional component ablations reduce SR by 0.9-2.3 percentage points and SPL by 0.6-1.5 points. These are author-reported aggregate measurements. The accompanying implementation repairs pass offline tests; episode-level rerun records are not available. Evaluation is confined to simulation.