SAGA: Open-World Mobile Manipulation via Structured Affordance Grounding
作者: Kuan Fang, Yuxin Chen, Xinghao Zhu, Farzad Niroui, Lingfeng Sun, Jiuguang Wang
分类: cs.RO, cs.AI, cs.LG
发布日期: 2025-12-14
备注: 9 pages, 7 figures
💡 一句话要点
SAGA：基于结构化可供性推理的开放世界移动操作框架
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 移动操作 可供性推理 多模态学习 机器人控制 开放世界 视觉运动控制 四足机器人
📋 核心要点
- 现有移动操作方法难以在不同环境和任务中泛化，主要挑战在于如何有效解耦高层语义意图和底层视觉运动控制。
- SAGA通过结构化可供性推理，将任务目标显式地与环境对齐，利用多模态基础模型生成3D可供性热图，突出任务相关信息。
- 实验表明，SAGA在11个真实世界任务中显著优于端到端和模块化基线，验证了其在开放世界移动操作中的有效性。
📝 摘要（中文）
SAGA是一个通用且自适应的视觉运动控制框架，能够泛化到各种环境、任务目标和用户指令。其核心思想是将高层语义意图与底层视觉运动控制分离，通过显式地将任务目标与观察到的环境对齐来实现高效学习。SAGA利用基于可供性的任务表示，以统一的结构化形式表达多样且复杂的行为。通过利用多模态基础模型，SAGA将任务表示与机器人的视觉观察对齐为3D可供性热图，突出显示任务相关的实体，同时消除可能阻碍泛化的虚假外观变化。这些对齐的可供性使我们能够有效地在多任务演示数据上训练用于全身控制的条件策略。SAGA可以在统一的框架中解决以不同形式指定的任务，包括语言指令、选定点和示例演示，从而实现零样本执行和少样本适应。我们在四足操作机器人上实例化SAGA，并在11个真实世界任务中进行了广泛的实验。SAGA始终以显著的优势优于端到端和模块化基线。这些结果表明，结构化可供性推理为通用移动操作提供了一条可扩展且有效的途径。
🔬 方法详解
问题定义：现有移动操作方法在开放世界环境中面临泛化性挑战。具体来说，它们难以处理环境变化、任务目标多样以及用户指令的不同形式。现有的端到端方法难以解耦高层语义和底层控制，而模块化方法则可能因为各个模块之间的误差累积而性能下降。
核心思路：SAGA的核心思路是通过结构化可供性推理来连接高层语义意图和底层视觉运动控制。它将任务目标表示为基于可供性的结构化形式，并利用多模态基础模型将这些表示与机器人的视觉观察对齐。这种对齐过程能够突出任务相关的环境实体，并消除不相关的外观变化，从而提高泛化能力。
技术框架：SAGA的整体框架包括以下几个主要模块：1) 基于可供性的任务表示模块，用于将任务目标编码为结构化的可供性形式；2) 多模态基础模型，用于将任务表示与视觉观察对齐，生成3D可供性热图；3) 条件策略学习模块，用于在多任务演示数据上训练全身控制策略。该策略以可供性热图作为输入，输出机器人的动作指令。
关键创新：SAGA最重要的技术创新点在于其结构化可供性推理方法。与传统的端到端方法相比，SAGA能够显式地表示任务目标和环境之间的关系，从而提高泛化能力。与传统的模块化方法相比，SAGA通过可供性推理将各个模块连接起来，减少了误差累积。
关键设计：SAGA的关键设计包括：1) 使用多模态基础模型（具体模型未知）进行视觉推理；2) 设计合适的损失函数来训练条件策略，例如行为克隆损失或强化学习损失（具体损失函数未知）；3) 针对四足操作机器人进行全身控制策略的设计，需要考虑机器人的运动学和动力学约束。
🖼️ 关键图片
📊 实验亮点
SAGA在11个真实世界任务中进行了广泛的实验，包括语言指令、选定点和示例演示等不同形式的任务指定。实验结果表明，SAGA始终以显著的优势优于端到端和模块化基线。具体提升幅度未知，但论文强调了“substantial margins”，表明性能提升显著。
🎯 应用场景
SAGA框架具有广泛的应用前景，可应用于家庭服务机器人、工业自动化、搜索救援等领域。它能够使机器人在复杂、动态的环境中执行各种操作任务，例如物体抓取、放置、组装等。通过结合自然语言理解和视觉感知技术，SAGA可以实现人机协作，提高机器人的智能化水平和实用价值。
📄 摘要（原文）
We present SAGA, a versatile and adaptive framework for visuomotor control that can generalize across various environments, task objectives, and user specifications. To efficiently learn such capability, our key idea is to disentangle high-level semantic intent from low-level visuomotor control by explicitly grounding task objectives in the observed environment. Using an affordance-based task representation, we express diverse and complex behaviors in a unified, structured form. By leveraging multimodal foundation models, SAGA grounds the proposed task representation to the robot's visual observation as 3D affordance heatmaps, highlighting task-relevant entities while abstracting away spurious appearance variations that would hinder generalization. These grounded affordances enable us to effectively train a conditional policy on multi-task demonstration data for whole-body control. In a unified framework, SAGA can solve tasks specified in different forms, including language instructions, selected points, and example demonstrations, enabling both zero-shot execution and few-shot adaptation. We instantiate SAGA on a quadrupedal manipulator and conduct extensive experiments across eleven real-world tasks. SAGA consistently outperforms end-to-end and modular baselines by substantial margins. Together, these results demonstrate that structured affordance grounding offers a scalable and effective pathway toward generalist mobile manipulation.