UniLM-Nav: A Unified Framework for Zero-Shot Last-Mile Navigation

📄 arXiv: 2607.06537v1 📥 PDF

作者: Zhuofan Zhang, Tianxu Wang, Guoxi Zhang, Yixiong Lin, Xilin Wang, Hongming Xu, Qing Li, Song-Chun Zhu, Lifeng Fan

分类: cs.RO

发布日期: 2026-07-07

💡 一句话要点

提出UniLM-Nav以解决零-shot最后一公里导航问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 移动操作 最后一公里导航 多模态大语言模型 开放词汇 机器人导航

📋 核心要点

  1. 现有的最后一公里导航方法依赖手动标注或特定任务训练，限制了其在开放词汇环境中的应用。
  2. UniLM-Nav通过视图选择、可操作性定位和基础姿态推理，将最后一公里导航问题进行模块化处理，利用多模态大语言模型实现。
  3. 在OVMM基准测试中，UniLM-Nav的表现超越了MoTo，提升了3.13个百分点，验证了其有效性。

📝 摘要（中文）

移动操作需要机器人导航至目标物体或容器并执行预期操作。然而，仅到达目标附近并不能保证机器人处于适合操作的姿态，这被称为最后一公里导航。现有方法依赖手动姿态标注或任务特定训练，限制了其在开放词汇设置中的可扩展性。为此，本文提出了UniLM-Nav，一个统一的零-shot开放词汇最后一公里导航框架。该框架将最后一公里导航分解为视图选择、任务条件的可操作性定位和几何感知的基础姿态推理，所有这些均通过共享的多模态大语言模型（MLLM）后端解决。UniLM-Nav在OVMM基准测试中表现优于先前的最先进方法MoTo，提升幅度为3.13个百分点。

🔬 方法详解

问题定义：本文旨在解决移动操作中的最后一公里导航问题，现有方法依赖于手动姿态标注或特定任务训练，导致在开放词汇环境中的可扩展性不足。

核心思路：UniLM-Nav通过将最后一公里导航分解为多个模块，利用多模态大语言模型（MLLM）进行综合处理，从而实现零-shot开放词汇导航。

技术框架：整体架构包括三个主要模块：视图选择、任务条件的可操作性定位和几何感知的基础姿态推理。首先，从最近收集的观察中选择最佳视图；其次，在选定视图中定位相关的可操作性点；最后，根据定位结果推理出适合操作的基础姿态。

关键创新：UniLM-Nav的核心创新在于其模块化设计和使用共享的MLLM后端，显著提高了导航的灵活性和适应性，与传统方法相比，能够处理更复杂的空间约束。

关键设计：在设计中，UniLM-Nav关注于视图选择的准确性、可操作性点的有效定位以及基础姿态推理的几何感知，具体参数设置和损失函数的选择均经过精心调整，以确保最终性能的提升。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在OVMM基准测试中，UniLM-Nav的表现超越了最先进的MoTo方法，提升了3.13个百分点，验证了其在零-shot最后一公里导航中的有效性，显示出其组件对最终性能的重要性。

🎯 应用场景

该研究的潜在应用领域包括服务机器人、仓储自动化和家庭助理等场景。UniLM-Nav的灵活性和适应性使其能够在复杂环境中执行移动操作，具有重要的实际价值和广泛的未来影响。

📄 摘要（原文）

Mobile manipulation requires a robot to navigate to a target object or receptacle and then perform intended manipulation. However, reaching the vicinity of the target does not guarantee a manipulation-ready base pose, a problem known as last-mile navigation. Prior methods for last-mile navigation either rely on manual pose annotation or task-specific training, limiting their scalability to open-vocabulary settings with fine-grained spatial constraints. We propose UniLM-Nav, a unified framework for zero-shot open-vocabulary last-mile navigation. UniLM-Nav decomposes last-mile navigation into view selection, task-conditioned affordance grounding, and geometry-aware base-pose reasoning, all resolved with a shared multimodal large language model (MLLM) backend. Specifically, UniLM-Nav first selects a reference view that best captures the target object or receptacle from recently collected observations. It then grounds task-relevant affordance point in the selected view and lifts the result into the robot-centric coordinate frame. Finally, conditioned on the grounded affordance, task context, and robot geometry, it infers a manipulation-ready base pose for the robot. We evaluate UniLM-Nav on the OVMM benchmark, where it outperforms the previous state-of-the-art method, MoTo, by 3.13 percentage points. Analyses show that the components of our method are crucial to final performance, and that the choice of MLLM also has a substantial effect. We further deploy UniLM-Nav on a Unitree B2 quadruped robot with a 6-DoF Unitree Z1 manipulator, validating its applicability to real-world mobile manipulation tasks.