SpatialHarness: Test-Time Spatial Scaffolding for Fine Robotic Manipulation
作者: Jiayu Wang, Yue Yu, Bin Zhu, Zhiyao Yang, Jingjing Chen
分类: cs.RO
发布日期: 2026-10-08
🔗 代码/项目: PROJECT_PAGE
💡 一句话要点
提出SpatialHarness以解决精细机器人操作中的空间可观察性问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱七：动作重定向 (Motion Retargeting) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 空间可观察性 机器人操作 多模态模型 在线模拟 任务关键关系 虚拟视图渲染 交互感知
📋 核心要点
- 现有的多模态基础模型在精细操作中表现不佳，主要是由于空间可观察性不足，无法充分捕捉任务关键的空间关系。
- SpatialHarness通过提供测试时的空间支撑，维护与现实世界同步的模拟场景，识别并展示关键空间关系，从而提升操作精度。
- 在四个真实机器人操作任务中，SpatialHarness显著提高了任务成功率，例如在插头插入任务中成功率从26.7%提升至66.7%。
📝 摘要（中文）
前沿的多模态基础模型（如GPT-6 Astra）在直接机器人控制方面展现出强大的潜力，但在精细操作上的表现仍然有限。我们认为，失败的重要原因并非政策能力不足，而是空间可观察性不足，现有的物理相机设置可能无法充分揭示任务关键的空间关系。为此，我们提出了SpatialHarness，这是一种在测试时提供空间支撑的工具，无需对政策进行微调或改变物理传感设置。SpatialHarness维护与现实世界执行同步的在线模拟场景，识别任务关键的空间关系，并渲染补充的虚拟视图以向冻结的多模态政策展示这些关系。我们在四个真实机器人操作任务上评估了SpatialHarness，结果显示其显著提高了任务成功率。
🔬 方法详解
问题定义：本论文旨在解决现有多模态基础模型在精细机器人操作中的空间可观察性不足问题。现有方法在物理相机设置下，无法有效揭示任务关键的空间关系，导致操作失败。
核心思路：我们提出SpatialHarness作为一种测试时的空间支撑工具，通过在线模拟场景与现实执行同步，识别并展示关键空间关系，从而提升机器人操作的精度和成功率。
技术框架：SpatialHarness的整体架构包括三个主要模块：在线模拟场景、任务关键空间关系识别和虚拟视图渲染。在线模拟场景与现实世界执行保持同步，确保信息的一致性。
关键创新：SpatialHarness的核心创新在于其交互感知场景同步技术，能够区分静态、持有和过渡模式，从而在交互过程中保持模拟场景的对齐。这一设计与现有方法的本质区别在于无需对政策进行微调。
关键设计：在实现中，我们设计了高效的空间关系识别算法，并采用了特定的损失函数来优化虚拟视图的渲染质量，以确保任务关键空间关系的清晰展示。
🖼️ 关键图片
📊 实验亮点
实验结果显示，使用相同的冻结GPT-6 Astra政策，SpatialHarness在多个任务上显著提高了成功率，例如在插头插入任务中成功率从26.7%提升至66.7%，而在汉诺塔任务中成功率则从0%提升至100%。这些结果表明，提升测试时的空间可观察性能够解锁强大多模态基础模型的精细操作能力。
🎯 应用场景
该研究的潜在应用领域包括精细机器人操作、自动化装配、医疗机器人等。通过提升空间可观察性，SpatialHarness能够帮助机器人在复杂环境中更准确地执行任务，具有重要的实际价值和广泛的应用前景。
📄 摘要（原文）
Frontier multimodal foundation models (e.g., GPT-6 Astra) have recently shown strong potential for direct robotic control, yet their performance on fine manipulation remains limited. We argue that an important source of failure is not necessarily insufficient policy capability, but insufficient spatial observability, where task-critical spatial relationships may be poorly revealed by the existing physical camera setup. We introduce SpatialHarness, a test-time embodied harness that provides test-time spatial scaffolding for fine robotic manipulation without policy fine-tuning or changes to the physical sensing setup. SpatialHarness maintains an online simulated scene synchronized with real-world execution, identifies task-critical spatial relationships, and renders complementary virtual views that expose them to a frozen multimodal policy. To keep the simulated scene aligned during interaction, we develop interaction-aware scene synchronization that distinguishes static, held, and transition modes. We evaluate SpatialHarness on four real-robot manipulation tasks spanning precise geometric alignment, object-relative placement, and articulated-object interaction. Using the same frozen GPT-6 Astra policy, SpatialHarness substantially improves task success, including from 26.7% to 66.7% on plug insertion and from 0% to 100% on Tower of Hanoi. These results indicate that improving spatial observability at test time can unlock fine-manipulation capabilities already present in strong multimodal foundation models. Project website: https://emilia113.github.io/SpatialHarness/.