From Seeing to Doing: Bridging Reasoning and Decision for Robotic Manipulation

📄 arXiv: 2505.08548 📥 PDF

作者: Yifu Yuan, Haiqin Cui, Yibin Chen, Zibin Dong, Fei Ni, Longxin Kou, Jinyi Liu, Pengyi Li, Yan Zheng, Jianye Hao

分类: cs.RO, cs.AI, cs.LG

发布日期: 2026-04-07

💡 一句话要点

提出FSD模型，通过空间关系推理提升机器人操作的泛化性和零样本性能

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱七：动作重定向 (Motion Retargeting) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 机器人操作 视觉-语言模型 空间关系推理 零样本学习 具身智能

📋 核心要点

  1. 现有VLA模型在机器人操作中泛化性不足，尤其是在零样本场景下，主要原因是具身数据集的稀疏性和异构性。
  2. FSD模型通过空间关系推理生成中间表示，为机器人操作提供细粒度的指导，并结合分层数据管道和自洽机制进行训练。
  3. 实验表明，FSD在多个基准测试中表现出色，并在SimplerEnv和真实机器人环境中显著优于基线方法，成功率提升显著。

📝 摘要（中文）

在机器人操作中实现泛化仍然是一个关键挑战，尤其是在未见过的场景和新任务中。现有的视觉-语言-动作（VLA）模型虽然建立在通用的视觉-语言模型（VLM）之上，但由于具身数据集中普遍存在的稀缺性和异质性，仍然无法实现鲁棒的零样本性能。为了解决这些限制，我们提出了一种新的视觉-语言模型FSD（From Seeing to Doing），该模型通过空间关系推理生成中间表示，为机器人操作提供细粒度的指导。我们的方法结合了用于训练的分层数据管道和将空间坐标与视觉信号对齐的自洽机制。通过广泛的实验，我们全面验证了FSD在“看”和“做”方面的能力，在8个通用空间推理和具身参考能力基准测试以及我们提出的更具挑战性的基准VABench上取得了出色的性能。我们还在机器人操作中验证了零样本能力，证明了在SimplerEnv和真实机器人设置中相对于基线方法的显着性能改进。实验结果表明，FSD在SimplerEnv中实现了40.6%的成功率，在8个真实世界任务中实现了72%的成功率，比最强的基线提高了30%。

🔬 方法详解

问题定义：现有视觉-语言-动作模型（VLA）在机器人操作任务中，尤其是在未见过的场景和新任务中，泛化能力不足。这是由于具身数据集的稀疏性和异构性造成的，导致模型难以学习到鲁棒的空间关系和操作策略。现有方法难以有效利用视觉信息进行精确的空间推理，从而限制了机器人在复杂环境中的操作能力。

核心思路：FSD的核心思路是通过引入空间关系推理作为中间表示，显式地建模视觉信息中的空间关系，从而为机器人操作提供更细粒度的指导。通过将视觉输入转化为空间关系描述，模型可以更好地理解场景，并生成更精确的操作指令。这种方法旨在弥合“看”和“做”之间的差距，使机器人能够更好地理解环境并执行相应的动作。

技术框架：FSD的技术框架主要包括以下几个模块：1) 视觉编码器：用于提取视觉特征；2) 空间关系推理模块：用于根据视觉特征推断物体之间的空间关系；3) 动作解码器：用于根据空间关系生成操作指令。训练过程采用分层数据管道，并引入自洽机制，以确保空间坐标与视觉信号的一致性。整体流程是从视觉输入开始，经过视觉编码器提取特征，然后通过空间关系推理模块生成空间关系表示，最后由动作解码器生成操作指令。

关键创新：FSD的关键创新在于引入了空间关系推理作为中间表示，显式地建模视觉信息中的空间关系。与现有方法相比，FSD能够更有效地利用视觉信息进行精确的空间推理，从而为机器人操作提供更细粒度的指导。此外，FSD还采用了分层数据管道和自洽机制，进一步提高了模型的性能和鲁棒性。

关键设计：FSD的关键设计包括：1) 空间关系推理模块的具体实现方式，例如使用图神经网络或Transformer等模型来建模物体之间的空间关系；2) 分层数据管道的设计，例如如何构建不同层次的数据集，以及如何利用这些数据集进行训练；3) 自洽机制的具体实现方式，例如如何定义空间坐标与视觉信号之间的一致性损失函数；4) 动作解码器的设计，例如如何将空间关系表示转化为操作指令。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

FSD在多个基准测试中取得了显著的性能提升。在通用空间推理和具身参考能力方面，FSD在8个基准测试中表现出色。在机器人操作方面，FSD在SimplerEnv中实现了40.6%的成功率，在8个真实世界任务中实现了72%的成功率，比最强的基线提高了30%。这些实验结果表明，FSD能够有效地提高机器人的泛化能力和零样本性能。

🎯 应用场景

该研究成果可应用于各种机器人操作任务，例如家庭服务机器人、工业自动化机器人和医疗机器人等。通过提高机器人的泛化能力和零样本性能，可以使机器人在更复杂和未知的环境中执行任务，从而提高生产效率和服务质量。此外，该研究还可以促进视觉-语言-动作模型的进一步发展，为实现更智能的机器人系统奠定基础。

📄 摘要（原文）

Achieving generalization in robotic manipulation remains a critical challenge, particularly for unseen scenarios and novel tasks. Current Vision-Language-Action (VLA) models, while building on top of general Vision-Language Models (VLMs), still fall short of achieving robust zero-shot performance due to the scarcity and heterogeneity prevalent in embodied datasets. To address these limitations, we propose FSD (From Seeing to Doing), a novel vision-language model that generates intermediate representations through spatial relationship reasoning, providing fine-grained guidance for robotic manipulation. Our approach combines a hierarchical data pipeline for training with a self-consistency mechanism that aligns spatial coordinates with visual signals. Through extensive experiments, we comprehensively validated FSD's capabilities in both "seeing" and "doing," achieving outstanding performance across 8 benchmarks for general spatial reasoning and embodied reference abilities, as well as on our proposed more challenging benchmark VABench. We also verified zero-shot capabilities in robot manipulation, demonstrating significant performance improvements over baseline methods in both SimplerEnv and real robot settings. Experimental results show that FSD achieves 40.6% success rate in SimplerEnv and 72% success rate across 8 real-world tasks, outperforming the strongest baseline by 30%.