GRASP: Global-Local Representation Alignment and Spatial-Physical Grounding for Bimanual Robotic Manipulation
作者: Zeyuan Ren, Guanxun Zhao, Qi Li, Hao Wang, Wenlong Liao, Keyi Luo, Xijing Zhang, Zhiyuan Zhang, Jingye Cui, Qibin Gu, Zhichen Wang, Yucheng Hu, Liqiao Xia, Nan Bu, Zhengde Ma, Rankun Li, Xue Yang, Wende Xie
分类: cs.RO
发布日期: 2026-10-16
备注: 8 pages, 4 figures
💡 一句话要点
提出GRASP框架以解决双手机器人操控中的任务成功率问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 双手操控 视觉-语言-动作 物理基础 流匹配损失 查询机制 机器人技术 深度学习
📋 核心要点
- 现有的VLA模型在训练目标与任务成功之间存在不一致，导致操控效果不理想。
- 提出了一种训练阶段先验注入框架，通过物理基础的流匹配损失和全局、局部查询的结合来优化双手操控。
- 在长时间的双手任务中，模型在分布内部署表现优异，而在强视觉随机化下，提炼的查询分支更具优势。
📝 摘要（中文）
视觉-语言-动作（VLA）模型通过直接回归关节空间动作，避免了逆运动学的部署成本。然而，其训练目标与任务成功之间存在不一致，关节空间损失忽略了关节误差的物理后果，视觉条件缺乏对手-物体交互区域的明确关注。为了解决这些问题，本文提出了一种训练阶段先验注入框架，旨在实现精细的双手操控。首先，基于物理的流匹配损失通过可微分的正向运动学映射每个噪声水平下的隐式干净动作估计，并监督工具中心点（TCP）姿态和臂间相对姿态。其次，引入了从冻结的DINOv3教师中提炼的全局预测查询组，结合由Grounding DINO在注意力层面监督的局部交互查询。实验表明，这两种先验在不同的部署设置中是互补的。
🔬 方法详解
问题定义：本文旨在解决双手机器人操控中，现有VLA模型训练目标与任务成功之间的不一致性，特别是关节空间损失对物理后果的忽视和视觉条件对手-物体交互区域的缺乏关注。
核心思路：通过引入物理基础的流匹配损失和全局、局部查询的结合，优化训练过程，使得模型在实际操作中更具鲁棒性和准确性。
技术框架：整体框架包括两个主要模块：物理基础的流匹配损失模块和查询提炼模块。前者通过正向运动学监督TCP和臂间姿态，后者通过DINOv3教师和Grounding DINO进行特征提炼。
关键创新：最重要的创新在于引入了基于物理的流匹配损失和双重查询机制，使得模型在训练阶段能够更好地捕捉手-物体交互的细节，显著提升了操控精度。
关键设计：采用了加权的噪声水平损失函数来补偿梯度衰减，同时设计了全局预测查询和局部交互查询的结合，确保模型在不同的视觉条件下均能保持良好的性能。
🖼️ 关键图片
📊 实验亮点
实验结果表明，完整模型在分布内部署中表现优异，成功率显著提高，而在强视觉随机化条件下，提炼的查询分支显示出更好的适应性，具体性能数据未提供。
🎯 应用场景
该研究的潜在应用领域包括工业自动化、服务机器人和人机协作等场景，能够提升机器人在复杂环境中的操控能力，具有重要的实际价值和未来影响力。
📄 摘要（原文）
Vision-Language-Action (VLA) models that directly regress joint-space actions avoid the deployment-time cost of inverse kinematics. However, their training objectives remain misaligned with task success, as joint-space losses ignore the unequal physical consequences of joint errors and visual conditioning lacks explicit focus on hand-object interaction regions. To address these issues, we propose a training-phase prior injection framework for fine-grained bimanual manipulation. First, a physics-grounded flow-matching loss maps the implicit clean-action estimate at every noise level through differentiable forward kinematics (FK) and supervises the resulting Tool Center Point (TCP) pose and inter-arm relative pose, with a bounded noise-level weighting that compensates gradient decay. Second, we introduce a global prediction query group distilled from a frozen DINOv3 teacher through future-frame feature prediction, together with a local interaction query supervised by Grounding DINO at the attention level. Both teachers are removed at inference, and the deployment pipeline is that of a standard joint-space flow policy, adding only the learned query pathway. Simulation and real-robot experiments on long-horizon bimanual tasks show that the two priors are complementary across different deployment settings. The full model excels in in-distribution deployment, while the distilled query branch is preferable under strong visual randomization.