Acting in Meters: Learning Metric Interactions for Precise Robotic Manipulation

📄 arXiv: 2609.18243v1 📥 PDF

作者: Lijie Wang, Zheng Lu, Yiming Wang, Heyang Yu, Kenghou Hoi, Bowen Hu, Di Cui, Tianyu Xin, Haoran Liao, Wanqi Zhong, Xingjie Fan, Yizhao Xu, Ziliang Wang, Fei Gao, Yiming Li

分类: cs.RO, cs.LG

发布日期: 2026-09-16

💡 一句话要点

提出度量交互框架以解决精确机器人操控问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 机器人操控 度量交互 视觉-语言-动作 物体级建模 场景级交互 空间反馈 智能制造 人机协作

📋 核心要点

  1. 现有的机器人操控方法往往忽视了动作、物体和场景几何之间的度量关系，导致操控精度不足。
  2. 本文提出的度量交互框架通过建模物体级和场景级的交互，结合空间反馈与语义理解，提升了操控性能。
  3. 实验结果显示，该框架在LIBERO和RoboTwin~2.0上分别提高了0.80和3.59个百分点，并在真实世界任务上提升了6.80个百分点。

📝 摘要（中文）

尽管视觉-语言-动作模型和世界-动作模型在语言条件下的机器人操控方面取得了进展，但往往将动作、物体和场景几何之间的度量关系隐含。人类操控结合了对任务相关物体的语义理解与指导手部运动的空间反馈。为此，本文提出了一种度量交互框架，在共享度量尺度下建模物体级和场景级的交互。在物体级，交互中心令牌（ICTs）明确表示相对于被操控物体的末端执行器姿态轨迹，并与动作共同去噪，提供物理基础的交互监督。在场景级，度量动作交互场（MAIF）利用动作和ICT查询关注度量场景点云特征，并学习几何条件下的动作修正。通过两阶段适应，该框架在少量额外参数和训练步骤下改善了多种VLA和WAM基线。

🔬 方法详解

问题定义：本文旨在解决现有机器人操控方法中度量关系隐含的问题，导致操控精度不足。现有方法缺乏对物体和场景几何的明确建模，限制了机器人在复杂环境中的操作能力。

核心思路：论文提出了一种度量交互框架，通过引入交互中心令牌（ICTs）和度量动作交互场（MAIF），在物理笛卡尔空间中显式建模物体和场景的交互，结合语义理解和空间反馈，提升操控精度。

技术框架：整体架构包括两个主要模块：物体级的ICTs用于表示末端执行器的姿态轨迹，场景级的MAIF用于关注场景点云特征。通过两阶段适应，框架在少量参数和训练步骤下进行优化。

关键创新：最重要的技术创新在于引入了ICTs和MAIF，使得机器人能够在物理空间中进行更精确的交互，显著提升了操控的准确性和效率。与现有方法相比，该框架提供了更为明确的空间反馈机制。

关键设计：在设计上，ICTs与动作共同去噪，确保了物理基础的交互监督；MAIF则通过查询机制关注场景特征，学习几何条件下的动作修正。框架的参数设置经过精心调整，以确保在不同任务中的适应性和性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，提出的度量交互框架在LIBERO和RoboTwin~2.0上分别提高了0.80和3.59个百分点，真实世界任务上提升了6.80个百分点，且在分布外变体上提升了7.45个百分点，展示了其优越的性能和广泛的适用性。

🎯 应用场景

该研究的潜在应用领域包括智能制造、服务机器人和自动化物流等。通过提升机器人在复杂环境中的操控能力，能够显著提高生产效率和操作安全性。未来，该框架有望在更广泛的机器人应用中发挥重要作用，推动人机协作的发展。

📄 摘要（原文）

Vision-Language-Action models and World-Action Models have advanced language-conditioned robotic manipulation, yet often leave metric relations among actions, objects, and scene geometry implicit. Human manipulation combines semantic understanding of task-relevant objects with spatial feedback that guides hand motion relative to objects and their surroundings. Inspired by this, we introduce a metric interaction framework that models object-level and scene-level interactions in physical Cartesian space at a shared metric scale. At the object level, Interaction-Centric Tokens (ICTs) explicitly represent end-effector pose trajectories relative to manipulated objects and are jointly denoised with actions, providing physically grounded interaction supervision. At the scene level, the Metric Action Interaction Field (MAIF) uses action and ICT queries to attend to metric scene point-cloud features and learns geometry-conditioned action corrections. Through two-stage adaptation, our framework improves diverse VLA and WAM baselines with a small number of additional parameters and training steps. Experiments demonstrate average success-rate gains of 0.80 and 3.59 percentage points on LIBERO and RoboTwin~2.0, respectively, alongside gains of 6.80 percentage points on real-world tasks and 7.45 percentage points on their out-of-distribution variants.