More than A Point: Capturing Uncertainty with Adaptive Affordance Heatmaps for Spatial Grounding in Robotic Tasks

📄 arXiv: 2510.10912v2 📥 PDF

作者: Xinyu Shao, Yanzhe Tang, Pengwei Xie, Kaiwen Zhou, Yuzheng Zhuang, Xingyue Quan, Jianye Hao, Long Zeng, Xiu Li

分类: cs.RO

发布日期: 2025-10-13 (更新: 2025-10-15)

备注: More details and videos can be found at https://robo-map.github.io

💡 一句话要点

RoboMAP：提出自适应Affordance热图，提升机器人空间定位任务的鲁棒性与效率

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 机器人操作 空间定位 Affordance热图 语言引导 不确定性建模

📋 核心要点

  1. 现有语言引导机器人系统依赖离散点进行空间推理，易受感知噪声和语义模糊影响，鲁棒性不足。
  2. RoboMAP采用连续自适应Affordance热图表示空间目标，捕捉定位不确定性，提供更丰富的空间信息。
  3. 实验表明，RoboMAP在定位精度、速度和真实世界操作成功率上均显著优于现有方法，并具备零样本泛化能力。

📝 摘要（中文）

许多基于语言引导的机器人系统依赖于将空间推理简化为离散点，这使得它们容易受到感知噪声和语义模糊的影响。为了解决这个问题，我们提出了RoboMAP，一个将空间目标表示为连续的、自适应的Affordance热图的框架。这种密集表示捕捉了空间定位中的不确定性，并为下游策略提供了更丰富的信息，从而显著提高了任务成功率和可解释性。RoboMAP在大多数定位基准测试中超越了先前的最先进水平，速度提高了高达50倍，并在真实世界的操作中实现了82%的成功率。通过广泛的模拟和物理实验，它展示了强大的性能，并对导航表现出强大的零样本泛化能力。

🔬 方法详解

问题定义：现有语言引导的机器人任务中，空间定位通常被简化为预测一个或几个离散点。这种方法忽略了空间关系的不确定性，对感知噪声和语义歧义非常敏感，导致下游任务的鲁棒性较差。此外，离散点表示也缺乏对目标物体潜在交互方式的建模，限制了机器人策略的泛化能力。

核心思路：RoboMAP的核心思想是将空间目标表示为一个连续的、自适应的Affordance热图。Affordance热图表示了空间中每个位置与目标物体交互的可能性，从而捕捉了空间定位的不确定性。通过自适应地调整热图的形状和大小，RoboMAP可以更好地适应不同的目标物体和任务需求。这种密集表示为下游策略提供了更丰富的信息，从而提高了任务的成功率和可解释性。

技术框架：RoboMAP框架主要包含以下几个模块：1) 感知模块：用于从视觉输入中提取特征；2) 语言理解模块：用于解析语言指令，提取空间关系信息；3) Affordance热图生成模块：根据感知特征和语言信息，生成自适应的Affordance热图；4) 策略执行模块：根据Affordance热图，规划机器人的运动轨迹，完成任务。整个框架采用端到端的方式进行训练。

关键创新：RoboMAP最重要的技术创新在于使用自适应的Affordance热图来表示空间目标。与传统的离散点表示相比，Affordance热图能够更好地捕捉空间定位的不确定性，并提供更丰富的空间信息。此外，RoboMAP的自适应机制可以根据不同的目标物体和任务需求，动态地调整热图的形状和大小，从而提高了模型的泛化能力。

关键设计：Affordance热图生成模块采用卷积神经网络实现，输入为视觉特征和语言特征，输出为Affordance热图。损失函数包括定位损失和交互损失。定位损失用于约束热图的中心位置与目标物体的位置对齐，交互损失用于约束热图的形状和大小与目标物体的交互方式相符。网络结构和损失函数的具体设计旨在平衡定位精度和交互信息的建模。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

RoboMAP在多个基准测试中取得了显著的性能提升。在空间定位任务中，RoboMAP超越了先前的最先进水平，速度提高了高达50倍。在真实世界的操作任务中，RoboMAP实现了82%的成功率。此外，RoboMAP还展示了强大的零样本泛化能力，可以成功地应用于新的导航任务。

🎯 应用场景

RoboMAP在语言引导的机器人操作、导航和人机交互等领域具有广泛的应用前景。它可以用于提高机器人在复杂环境中的操作能力，例如在家庭服务机器人中，可以帮助机器人理解用户的指令，准确地定位目标物体，并完成相应的操作任务。此外，RoboMAP还可以应用于自动驾驶领域，帮助车辆理解交通规则和周围环境，从而提高驾驶安全性。

📄 摘要（原文）

Many language-guided robotic systems rely on collapsing spatial reasoning into discrete points, making them brittle to perceptual noise and semantic ambiguity. To address this challenge, we propose RoboMAP, a framework that represents spatial targets as continuous, adaptive affordance heatmaps. This dense representation captures the uncertainty in spatial grounding and provides richer information for downstream policies, thereby significantly enhancing task success and interpretability. RoboMAP surpasses the previous state-of-the-art on a majority of grounding benchmarks with up to a 50x speed improvement, and achieves an 82\% success rate in real-world manipulation. Across extensive simulated and physical experiments, it demonstrates robust performance and shows strong zero-shot generalization to navigation. More details and videos can be found at https://robo-map.github.io.