Beyond Waypoints: Dual-Heatmap Grounding for Cross-Embodiment Semantic Navigation
作者: Kaijie Yun, Yue Chen
分类: cs.RO
发布日期: 2026-05-19
💡 一句话要点
提出基于双热图的跨具身语义导航框架，提升机器人环境交互能力
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱七：动作重定向 (Motion Retargeting) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 语义导航 机器人导航 人机交互 视觉语言 热图预测
📋 核心要点
- 现有导航方法依赖确定性航点回归，忽略空间不确定性，易导致机器人导航至不可达区域。
- 提出双热图表示，预测导航可供性热图和朝向热图，构建可微语义势场，指导机器人运动。
- 构建自动化数据生成流程和模拟环境，实验证明该方法在多种机器人上提升了可供性率。
📝 摘要（中文）
本文致力于解决人机交互中将开放式语义指令转化为机器人可执行的局部目标这一挑战。现有导航框架通常回归确定性航点，这种刚性方式忽略了空间不确定性，且容易指向不可通行的物体中心，导致执行失败。本文关注在视野内（in-FOV）语义导航的实际场景，机器人接收简洁的、交错的多模态（文本和图像）提示。为了弥合抽象语义意图和物理可达性之间的差距，我们提出了一个统一的视觉-语言框架，放弃了单点回归，转而采用双热图表示。该框架预测导航可供性热图（navigation affordance heatmap），捕捉连续的可达区域，以及一个用于方向约束的朝向热图（facing heatmap）。这些密集输出本质上充当可微的语义势场，与下游局部规划器无缝集成。为了支持这种范式，我们构建了一个全自动的、基础模型辅助的合成数据管道，并建立了一个全面的模拟基准。大量实验表明，我们的框架在可比的8B参数基线中实现了最先进的性能。至关重要的是，特征融合研究和跨多种机器人形态（Jetbot、H1、Aliengo）的模拟研究表明，显式热图预测显著提高了可供性率（Affordance Rate, AR）。通过将目标可靠地放置在可执行的自由空间中，我们的框架有效地缓解了点回归的脆弱性，为安全的跨具身语义导航提供了一条可转移的路径。
🔬 方法详解
问题定义：现有基于航点回归的语义导航方法，容易受到环境噪声和感知误差的影响，导致机器人导航到不可达区域或物体中心，从而降低导航成功率和安全性。尤其是在跨具身（cross-embodiment）场景下，不同机器人形态对环境的适应性不同，该问题更加突出。
核心思路：论文的核心思路是将导航目标从单一的航点回归，转变为对整个可导航区域的概率分布建模。通过预测导航可供性热图和朝向热图，为机器人提供更丰富的环境信息，从而提高导航的鲁棒性和适应性。这种方法能够更好地处理环境中的不确定性，并允许机器人根据自身形态和环境特点选择最佳的导航路径。
技术框架：该框架主要包含以下几个模块：1) 视觉-语言特征提取模块：用于提取文本指令和图像信息的多模态特征；2) 双热图预测模块：基于提取的特征，预测导航可供性热图和朝向热图；3) 局部规划器：根据热图信息，生成机器人的局部运动轨迹。整体流程是，首先将文本指令和图像输入到特征提取模块，然后将提取的特征输入到双热图预测模块，最后将预测的热图输入到局部规划器，控制机器人运动。
关键创新：该论文的关键创新在于提出了双热图表示方法，取代了传统的单点回归。这种方法能够更好地表达环境中的可导航区域和方向约束，从而提高导航的鲁棒性和适应性。此外，论文还提出了一个全自动的数据生成流程，用于生成大规模的训练数据，解决了语义导航任务中数据稀缺的问题。
关键设计：导航可供性热图和朝向热图的分辨率需要根据实际场景进行调整，以平衡计算复杂度和精度。损失函数的设计需要同时考虑热图预测的准确性和导航的效率。网络结构可以采用常见的卷积神经网络或Transformer结构，具体选择取决于实际场景和计算资源。
🖼️ 关键图片
📊 实验亮点
实验结果表明，该框架在可比的8B参数基线中实现了最先进的性能。特征融合研究和跨多种机器人形态（Jetbot、H1、Aliengo）的模拟研究表明，显式热图预测显著提高了可供性率（Affordance Rate, AR）。与基于航点回归的方法相比，该方法能够更可靠地将目标放置在可执行的自由空间中，从而提高了导航的成功率和安全性。
🎯 应用场景
该研究成果可应用于各种机器人导航场景，例如家庭服务机器人、仓储物流机器人、自动驾驶汽车等。通过将语义指令转化为可执行的局部目标，可以提高机器人的自主性和智能化水平，使其能够更好地理解人类意图并完成复杂任务。此外，该方法在跨具身导航方面的优势，使其能够更容易地部署到不同类型的机器人平台上。
📄 摘要（原文）
Grounding open-ended semantic instructions into physically executable local goals is a fundamental challenge in human-robot interaction. While existing navigation frameworks often regress deterministic waypoints, this rigid formulation collapses spatial uncertainty and frequently targets non-traversable object centers, leading to severe execution failures. In this work, we focus on the practical setting of in-FOV semantic navigation, where a robot receives concise, interleaved multimodal (text and image) prompts. To bridge the gap between abstract semantic intent and physical reachability, we propose a unified Vision-Language framework that abandons single-point regression in favor of a Dual-Heatmap representation. Our framework predicts a navigation affordance heatmap that captures continuous reachable regions, coupled with a facing heatmap for orientation constraints. These dense outputs inherently function as a differentiable semantic potential field, integrating seamlessly with downstream local planners. To support this paradigm, we build a fully automated, foundation-model-assisted synthetic data pipeline and establish a comprehensive simulation benchmark. Extensive experiments demonstrate that our framework achieves state-of-the-art performance among comparable 8B baselines. Crucially, a feature-fusion study and simulation studies across diverse robot embodiments (Jetbot, H1, Aliengo) reveal that explicit heatmap prediction drastically improves the Affordance Rate (AR). By placing targets reliably in executable free space, our framework effectively mitigates the brittleness of point regression, offering a transferable path toward safe cross-embodiment semantic navigation.