In-the-Wild Compliant Manipulation with UMI-FT

📄 arXiv: 2601.09988v1 📥 PDF

作者: Hojung Choi, Yifan Hou, Chuer Pan, Seongheon Hong, Austin Patel, Xiaomeng Xu, Mark R. Cutkosky, Shuran Song

分类: cs.RO

发布日期: 2026-01-15

备注: submitted to ICRA 2026

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

UMI-FT：一种低成本指尖力/力矩传感器平台，用于学习力觉自适应操作策略。

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 力觉感知 机器人操作 柔顺控制 力/力矩传感器 多模态学习

📋 核心要点

  1. 现有力/力矩传感器成本高昂、体积大且脆弱，限制了力觉感知操作策略的大规模学习。
  2. UMI-FT平台通过在指尖集成紧凑型力/力矩传感器，提供指尖级别的力和力矩测量以及多模态数据。
  3. 实验表明，基于UMI-FT训练的自适应柔顺策略在力敏感任务中表现优异，超越了传统方法。

📝 摘要（中文）

许多操作任务需要精确的力控制。力不足可能导致任务失败，而力过大则可能造成损坏。商业力/力矩（F/T）传感器的高成本、庞大体积和脆弱性限制了大规模、力觉感知策略的学习。我们介绍了UMI-FT，一个手持数据收集平台，它在每个手指上安装了紧凑的六轴力/力矩传感器，从而能够进行指尖级别的力和力矩测量，同时获取RGB、深度和姿态信息。利用从该设备收集的多模态数据，我们训练了一个自适应柔顺策略，该策略预测位置目标、抓取力和刚度，以便在标准柔顺控制器上执行。在三个接触丰富、力敏感的任务（白板擦拭、串烤西葫芦和灯泡插入）的评估中，UMI-FT使策略能够可靠地调节外部接触力和内部抓取力，优于缺乏柔顺性或力感知的基线方法。UMI-FT为从真实环境演示中学习柔顺操作提供了一条可扩展的途径。我们开源了硬件和软件，以促进更广泛的应用：https://umi-ft.github.io/。

🔬 方法详解

问题定义：现有机器人操作任务中，精确的力控制至关重要，但传统力/力矩传感器成本高、体积大，难以大规模部署，阻碍了力觉感知策略的学习和应用。因此，需要一种低成本、易于集成且能提供精确力反馈的解决方案，以实现更可靠、更安全的机器人操作。

核心思路：UMI-FT的核心思路是设计一种手持式数据采集平台，该平台在每个手指上安装紧凑的六轴力/力矩传感器，从而实现指尖级别的力和力矩测量。结合RGB、深度和姿态等多模态数据，可以训练自适应柔顺策略，使机器人能够根据环境反馈动态调整抓取力和刚度，从而更好地完成力敏感任务。这种设计降低了硬件成本，提高了数据采集的灵活性和可扩展性。

技术框架：UMI-FT平台主要包含以下几个模块：1) 手持式硬件平台，集成了多个六轴力/力矩传感器、RGB相机、深度相机和姿态传感器；2) 数据采集系统，用于同步采集和处理来自各个传感器的数据；3) 自适应柔顺策略学习模块，利用采集的多模态数据训练策略，预测位置目标、抓取力和刚度；4) 柔顺控制执行模块，将学习到的策略部署到标准柔顺控制器上，实现力觉感知的操作。

关键创新：UMI-FT的关键创新在于：1) 提出了低成本、紧凑型的指尖力/力矩传感器集成方案，降低了硬件成本和复杂性；2) 结合多模态数据，实现了更精确的力觉感知和自适应柔顺控制；3) 提供了一个开源的硬件和软件平台，促进了力觉感知操作研究的广泛应用。与传统方法相比，UMI-FT更易于部署和扩展，能够更好地适应真实环境中的复杂操作任务。

关键设计：在硬件设计方面，选择了体积小、精度高的六轴力/力矩传感器，并优化了传感器的安装位置和固定方式，以提高测量精度和稳定性。在软件方面，设计了高效的数据同步和处理算法，保证了数据的实时性和准确性。在策略学习方面，采用了强化学习或模仿学习等方法，并设计了合适的奖励函数和损失函数，以训练出能够有效调节外部接触力和内部抓取力的自适应柔顺策略。具体参数设置和网络结构细节在论文中有更详细的描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在白板擦拭、串烤西葫芦和灯泡插入等三个力敏感任务的实验中，基于UMI-FT训练的策略显著优于缺乏柔顺性或力感知的基线方法。实验结果表明，UMI-FT能够可靠地调节外部接触力和内部抓取力，提高了任务的成功率和操作的安全性。具体性能数据和提升幅度可在论文中查阅。

🎯 应用场景

UMI-FT平台及其训练的力觉自适应策略可广泛应用于机器人操作领域，例如：精密装配、医疗手术、食品加工、家庭服务等。通过感知和调节作用力，机器人可以更安全、更有效地完成各种复杂任务，减少人为错误和损坏风险，提高自动化水平和服务质量。该研究为机器人智能化发展提供了新的思路和工具。

📄 摘要（原文）

Many manipulation tasks require careful force modulation. With insufficient force the task may fail, while excessive force could cause damage. The high cost, bulky size and fragility of commercial force/torque (F/T) sensors have limited large-scale, force-aware policy learning. We introduce UMI-FT, a handheld data-collection platform that mounts compact, six-axis force/torque sensors on each finger, enabling finger-level wrench measurements alongside RGB, depth, and pose. Using the multimodal data collected from this device, we train an adaptive compliance policy that predicts position targets, grasp force, and stiffness for execution on standard compliance controllers. In evaluations on three contact-rich, force-sensitive tasks (whiteboard wiping, skewering zucchini, and lightbulb insertion), UMI-FT enables policies that reliably regulate external contact forces and internal grasp forces, outperforming baselines that lack compliance or force sensing. UMI-FT offers a scalable path to learning compliant manipulation from in-the-wild demonstrations. We open-source the hardware and software to facilitate broader adoption at:https://umi-ft.github.io/.