Spatial Grafting: Grounding 3D Features for Flow-Matching Robot Policies
作者: Dingsheng Liu, Yangzheng Wu, Mahboubeh Asadi, Zhiyuan Li, Jinbang Huang, Yixin Xiao, Tongtong Cao, Yingxue Zhang
分类: cs.RO, cs.AI, cs.CV
发布日期: 2026-09-28
备注: 17 pages, 4 figures, 9 tables
💡 一句话要点
提出空间嫁接方法以解决机器人策略中的几何信息缺失问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 机器人操作 几何信息 空间嫁接 流匹配 预训练策略 视觉-语言模型 世界-动作模型
📋 核心要点
- 现有的机器人操作策略未能有效利用几何信息，导致在复杂环境中的操作性能不足。
- 本文提出空间嫁接方法，通过将重建特征与机器人相对几何信息结合，增强了预训练策略的表现。
- 实验结果表明，空间嫁接在多个基准测试中显著提升了机器人操作的成功率，尤其在长时间操作任务中表现优异。
📝 摘要（中文）
预训练的机器人操作策略如视觉-语言-动作模型（VLA）或世界-动作模型（WAM）未能明确交互相关的度量几何信息。尽管空间重建的突破能够可靠地提供必要的几何信息，但其特征仅描述局部形状，未能明确其相对于机器人的位置。为了解决这一问题，本文提出了空间嫁接（Spatial Grafting），一种轻量级的空间模块，将冻结的重建特征与度量的、相对机器人的几何信息绑定。通过交叉注意力将构建的度量基础空间标记注入到流匹配的动作专家中，而不修改主机的感知路径，从而保留其预训练的全部优势。我们在多个模拟基准和真实机器人平台上进行了广泛评估，结果显示该方法在多种任务中显著提升了性能。
🔬 方法详解
问题定义：本文旨在解决现有机器人操作策略中缺乏明确几何信息的问题。现有的视觉-语言-动作模型和世界-动作模型未能有效利用空间几何信息，导致在复杂环境中的操作性能不足。
核心思路：论文提出的空间嫁接方法通过将冻结的重建特征与机器人相对的度量几何信息结合，构建度量基础的空间标记，并通过交叉注意力注入到流匹配的动作专家中，从而增强预训练策略的表现。
技术框架：整体架构包括空间重建模块、空间嫁接模块和流匹配动作专家。空间重建模块负责生成几何特征，空间嫁接模块将这些特征与机器人几何信息结合，最后通过流匹配动作专家执行操作。
关键创新：最重要的技术创新点在于空间嫁接模块的设计，它能够在不修改主机感知路径的情况下，将几何信息有效整合到预训练策略中，从而保留其预训练的优势。
关键设计：在设计中，空间嫁接模块采用交叉注意力机制，确保重建特征与机器人几何信息的有效结合。具体参数设置和损失函数的选择经过多次实验优化，以确保在各种任务中的最佳表现。
🖼️ 关键图片
📊 实验亮点
实验结果显示，空间嫁接方法在RoboTwin 2.0双臂操作基准上，所有主机的表现均有所提升，其中Grafted $π_{0.5}$在干净和随机场景中分别提升了11.3%和15.6%，达到94.0%和92.4%。在BEHAVIOR-1K挑战中，该方法在六个任务中超过了2025年挑战的获胜者，提升幅度达到0.47 Q-score。
🎯 应用场景
该研究的潜在应用领域包括机器人操作、自动化制造、智能家居等。通过有效整合几何信息，机器人能够在复杂环境中更准确地执行任务，提升操作的灵活性和效率。未来，该方法可能推动更智能的机器人系统的发展，使其在动态和不确定环境中表现更佳。
📄 摘要（原文）
Pretrained robot manipulation policies such as vision-language-action models (VLAs) or world-action models (WAMs) leave interaction-relevant metric geometry implicit. Recent breakthroughs in spatial reconstruction can supply the necessary geometry reliably, but their features describe local shape without stating where it lies with respect to the robot. How best to deliver these features to a pretrained policy remains unresolved. We propose Spatial Grafting, a versatile, lightweight spatial module that binds frozen reconstruction features to metric, robot-relative geometry. Spatial Grafting constructs metric-grounded spatial tokens and injects them into the flow-matching action expert through cross-attention, without modifying the host's perceptual pathway, so the host retains the full benefit of its pretraining. We evaluate it more broadly than any geometry-aware policy we compare against: one graft architecture, with no per-host redesign, on two VLAs and two WAMs, across four simulation benchmarks that span short-horizon manipulation, visual robustness, clutter and long-horizon mobile manipulation, and on three real-robot platforms with single- and dual-arm configurations. On RoboTwin 2.0, a dual-arm manipulation benchmark, the graft improves every host across VLAs and WAMs. Grafted $π_{0.5}$ gains 11.3% and 15.6% on clean and randomized scenes, reaching 94.0% and 92.4%, above the strongest published 3D-conditioned policy, WAM4D (93.8% and 89.9%). The margin widens as the horizon lengthens: on tasks from BEHAVIOR-1K, a dual-arm mobile manipulation challenge scored by average task progress, it surpasses the 2025 challenge winner on five of six tasks,by up to 0.47 Q-score, and exceeds a map-conditioned spatial policy on average across the three tasks both report.