From Seeing to Doing: Bridging Reasoning and Decision for Robotic Manipulation

📄 arXiv: 2505.08548v2 📥 PDF

作者: Yifu Yuan, Haiqin Cui, Yibin Chen, Zibin Dong, Fei Ni, Longxin Kou, Jinyi Liu, Pengyi Li, Yan Zheng, Jianye Hao

分类: cs.RO, cs.AI, cs.LG

发布日期: 2025-05-13 (更新: 2025-05-27)

备注: Our project homepage: https://embodied-fsd.github.io/

💡 一句话要点

提出FSD模型，通过空间关系推理提升机器人操作的泛化性和零样本性能。

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱七：动作重定向 (Motion Retargeting) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 机器人操作 视觉-语言模型 空间关系推理 零样本学习 具身智能

📋 核心要点

  1. 现有VLA模型在机器人操作任务中泛化性不足，尤其是在新场景和任务中，主要原因是具身数据集的稀缺性和异构性。
  2. FSD模型通过空间关系推理生成中间表示，为机器人操作提供细粒度的指导，从而提升模型的泛化能力和零样本性能。
  3. 实验结果表明，FSD在多个基准测试中取得了显著的性能提升，并在真实机器人操作任务中优于现有方法。

📝 摘要（中文）

本文提出了一种名为FSD（From Seeing to Doing）的新型视觉-语言模型，旨在解决机器人操作中泛化性不足的问题，尤其是在未见过的场景和新任务中。FSD模型通过空间关系推理生成中间表示，为机器人操作提供细粒度的指导。该方法结合了用于训练的分层数据管道和一个将空间坐标与视觉信号对齐的自洽机制。通过广泛的实验，全面验证了FSD在“看”和“做”方面的能力，在8个通用空间推理和具身参考能力基准测试以及我们提出的更具挑战性的VABench基准测试中取得了出色的性能。同时，验证了其在机器人操作中的零样本能力，在SimplerEnv和真实机器人环境中均表现出优于基线方法的显著性能提升。实验结果表明，FSD在SimplerEnv中实现了40.6%的成功率，在8个真实世界任务中实现了72%的成功率，比最强的基线方法提高了30%。

🔬 方法详解

问题定义：现有视觉-语言-动作（VLA）模型在机器人操作任务中，尤其是在未见过的场景和新任务中，泛化能力不足。这是由于现有具身数据集的稀缺性和异构性导致的。这些模型难以有效地学习到通用的空间关系和推理能力，从而限制了其在实际机器人应用中的表现。

核心思路：FSD的核心思路是通过引入空间关系推理作为中间表示，显式地建模物体之间的空间关系，从而为机器人操作提供更细粒度的指导。这种方法旨在弥合视觉感知和动作执行之间的差距，使模型能够更好地理解场景并做出相应的决策。通过学习空间关系，模型可以更好地泛化到新的场景和任务。

技术框架：FSD的技术框架主要包括以下几个部分：1) 一个用于训练的分层数据管道，用于生成包含空间关系信息的数据；2) 一个视觉-语言模型，用于学习视觉输入和空间关系之间的映射；3) 一个自洽机制，用于将空间坐标与视觉信号对齐，确保模型能够准确地理解场景中的空间关系；4) 一个动作生成模块，用于根据空间关系推理的结果生成机器人操作指令。整体流程是从视觉输入开始，通过视觉-语言模型提取特征，然后进行空间关系推理，最后生成动作指令。

关键创新：FSD的关键创新在于引入了空间关系推理作为中间表示，并设计了一个自洽机制来对齐空间坐标和视觉信号。与现有方法相比，FSD不是直接从视觉输入预测动作，而是通过显式地建模空间关系来指导动作生成。这种方法可以提高模型的泛化能力和鲁棒性，使其能够更好地适应新的场景和任务。

关键设计：FSD的关键设计包括：1) 分层数据管道，用于生成包含不同粒度空间关系信息的数据；2) 自洽损失函数，用于对齐空间坐标和视觉信号；3) 动作生成模块，用于根据空间关系推理的结果生成机器人操作指令。具体的网络结构和参数设置在论文中进行了详细描述，但此处未知。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

FSD在SimplerEnv中实现了40.6%的成功率，在8个真实世界任务中实现了72%的成功率，比最强的基线方法提高了30%。此外，FSD在通用空间推理和具身参考能力基准测试以及VABench基准测试中也取得了出色的性能，验证了其在“看”和“做”方面的能力。

🎯 应用场景

该研究成果可广泛应用于各种机器人操作任务中，例如家庭服务机器人、工业自动化机器人和医疗辅助机器人。通过提升机器人的泛化能力和零样本性能，可以使其更好地适应复杂和动态的环境，从而提高工作效率和安全性。未来，该技术有望推动机器人智能化水平的提升，使其能够更好地服务于人类。

📄 摘要（原文）

Achieving generalization in robotic manipulation remains a critical challenge, particularly for unseen scenarios and novel tasks. Current Vision-Language-Action (VLA) models, while building on top of general Vision-Language Models (VLMs), still fall short of achieving robust zero-shot performance due to the scarcity and heterogeneity prevalent in embodied datasets. To address these limitations, we propose FSD (From Seeing to Doing), a novel vision-language model that generates intermediate representations through spatial relationship reasoning, providing fine-grained guidance for robotic manipulation. Our approach combines a hierarchical data pipeline for training with a self-consistency mechanism that aligns spatial coordinates with visual signals. Through extensive experiments, we comprehensively validated FSD's capabilities in both "seeing" and "doing," achieving outstanding performance across 8 benchmarks for general spatial reasoning and embodied reference abilities, as well as on our proposed more challenging benchmark VABench. We also verified zero-shot capabilities in robot manipulation, demonstrating significant performance improvements over baseline methods in both SimplerEnv and real robot settings. Experimental results show that FSD achieves 40.6% success rate in SimplerEnv and 72% success rate across 8 real-world tasks, outperforming the strongest baseline by 30%.