Precise Mobile Manipulation of Small Everyday Objects

📄 arXiv: 2502.13964v2 📥 PDF

作者: Arjun Gupta, Rishik Sathua, Saurabh Gupta

分类: cs.RO, cs.AI, cs.CV, cs.LG

发布日期: 2025-02-19 (更新: 2025-10-13)

备注: Project webpage: https://arjung128.github.io/svm

💡 一句话要点

提出基于视觉模型的伺服控制框架SVM，用于移动机器人精准操作小型物体

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 移动操作 视觉伺服 目标定位 视觉模型 外绘技术 机器人控制 零样本学习

📋 核心要点

  1. 现有移动操作方法在与小型物体进行精确交互时面临挑战，特别是由于末端执行器的遮挡导致目标定位困难。
  2. SVM框架利用视觉基础模型生成3D目标，并通过外绘技术减轻末端执行器的遮挡，从而提高目标定位精度。
  3. 实验结果表明，SVM在真实环境中对未见过的物体操作具有显著的零样本泛化能力，优于开环控制和模仿学习方法。

📝 摘要（中文）

本文提出了一种名为“基于视觉模型的伺服控制”（SVM）的闭环框架，旨在使移动机械臂能够处理需要与小型物体进行精确交互的任务，例如抓取旋钮以打开柜子或按下电灯开关。SVM利用先进的视觉基础模型生成用于视觉伺服的3D目标，从而在新的环境中实现各种任务。直接应用这些模型会因末端执行器的遮挡而失败。SVM通过使用视觉模型对末端执行器进行外绘来缓解这个问题，从而显著提高目标定位的准确性。实验表明，借助外绘方法，开放词汇对象检测器可以作为SVM的即插即用模块来寻找语义目标（例如旋钮），而点跟踪方法可以帮助SVM可靠地追踪用户点击指示的交互位置。我们在包括6栋建筑物中的10个新环境和72个不同的对象实例中进行了大规模评估。SVM在真实世界中操作新环境中未见过的物体时，获得了71%的零样本成功率，比开环控制方法高出42%，也比在1000多个演示上训练的模仿学习基线高出50%。

🔬 方法详解

问题定义：论文旨在解决移动机械臂精确操作小型日常物品的问题，例如开柜子、按开关等。现有方法在处理此类任务时，由于末端执行器遮挡目标物体，导致视觉伺服的目标定位精度下降，进而影响操作的成功率。此外，对于新环境和新物体的泛化能力也是一个挑战。

核心思路：论文的核心思路是利用先进的视觉基础模型，结合外绘（out-painting）技术，来提高目标定位的精度和鲁棒性。通过视觉模型预测被遮挡区域的内容，从而克服末端执行器遮挡带来的问题，实现更精确的视觉伺服控制。

技术框架：SVM框架主要包含以下几个模块：1) 视觉感知模块：利用开放词汇对象检测器或点跟踪方法来识别目标物体或交互位置。2) 外绘模块：使用视觉模型对末端执行器遮挡的区域进行外绘，生成完整的场景图像。3) 3D目标生成模块：根据视觉感知和外绘的结果，生成用于视觉伺服的3D目标点。4) 伺服控制模块：根据3D目标点，控制机械臂进行精确操作。

关键创新：论文的关键创新在于将外绘技术与视觉伺服控制相结合，有效地解决了末端执行器遮挡带来的目标定位问题。此外，利用开放词汇对象检测器和点跟踪方法，实现了对不同类型目标的灵活定位，提高了系统的泛化能力。

关键设计：论文中使用了现有的视觉基础模型进行外绘，具体模型的选择和训练细节未知。对于伺服控制，采用了常见的视觉伺服方法，具体参数设置未知。损失函数的设计也未在论文中详细描述，但推测是基于目标点与实际位置之间的误差。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

SVM在10个新环境和72个不同的对象实例中进行了大规模评估，获得了71%的零样本成功率。相比之下，开环控制方法的成功率为29%，而经过1000多个演示训练的模仿学习基线的成功率为21%。实验结果表明，SVM在真实环境中对未见过的物体操作具有显著的优势。

🎯 应用场景

该研究成果可应用于各种需要精确操作的移动机器人任务，例如家庭服务机器人、工业自动化、医疗辅助机器人等。通过提高机器人对小型物体的操作精度和泛化能力，可以扩展机器人的应用范围，使其能够更好地服务于人类生活和生产。

📄 摘要（原文）

Many everyday mobile manipulation tasks require precise interaction with small objects, such as grasping a knob to open a cabinet or pressing a light switch. In this paper, we develop Servoing with Vision Models (SVM), a closed-loop framework that enables a mobile manipulator to tackle such precise tasks involving the manipulation of small objects. SVM uses state-of-the-art vision foundation models to generate 3D targets for visual servoing to enable diverse tasks in novel environments. Naively doing so fails because of occlusion by the end-effector. SVM mitigates this using vision models that out-paint the end-effector, thereby significantly enhancing target localization. We demonstrate that aided by out-painting methods, open-vocabulary object detectors can serve as a drop-in module for SVM to seek semantic targets (e.g. knobs) and point tracking methods can help SVM reliably pursue interaction sites indicated by user clicks. We conduct a large-scale evaluation spanning experiments in 10 novel environments across 6 buildings including 72 different object instances. SVM obtains a 71% zero-shot success rate on manipulating unseen objects in novel environments in the real world, outperforming an open-loop control method by an absolute 42% and an imitation learning baseline trained on 1000+ demonstrations also by an absolute success rate of 50%.