DEX-Mouse: A Low-cost Portable and Universal Interface with Force Feedback for Data Collection of Dexterous Robotic Hands

📄 arXiv: 2604.15013v1 📥 PDF

作者: Joonho Koh, Haechan Jung, Nayoung Kim, Wook Ko, Changjoo Nam

分类: cs.RO

发布日期: 2026-04-16

💡 一句话要点

DEX-Mouse：一种低成本、便携式、通用且具力反馈的灵巧手遥操作数据采集接口

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: 灵巧手遥操作 力反馈 便携式界面 数据采集 机器人控制

📋 核心要点

  1. 现有基于MoCap手套的遥操作系统需要针对每个操作者进行校准，且缺乏便携性，机器人手通常固定在静止的手臂上。
  2. DEX-Mouse 采用无需校准的操作者无关设计，并集成了动觉力反馈，使用户能够更自然地控制灵巧手。
  3. 用户研究表明，DEX-Mouse 在任务完成率和降低操作者感知工作量方面均优于其他遥操作界面，尤其是在手臂附加配置下。

📝 摘要（中文）

本文提出DEX-Mouse，一种低成本、便携式的手持遥操作界面，集成了动觉力反馈，全部采用低于150美元的商用现成组件构建。该设计无需针对不同操作者进行校准或结构修改，可立即部署在各种环境和平台上。该界面支持将目标机械手直接安装在操作者前臂上的配置，从而生成机器人对齐的数据。在各种灵巧操作任务的对比用户研究中，使用该系统的操作者在附加配置下实现了86.67%的任务完成率。此外，研究发现，与空间分离的遥操作设置相比，附加配置降低了操作者的感知工作量。完整的硬件和软件堆栈，包括物料清单、CAD模型和固件，已在https://dex-mouse.github.io/上开源，以方便复制和采用。

🔬 方法详解

问题定义：现有灵巧手遥操作数据采集方法存在局限性。基于仿真的方法存在sim-to-real差距，基于视频的方法存在重定向问题。MoCap手套需要校准且不便携。便携式替代方案缺乏跨平台和跨操作员的兼容性。因此，需要一种低成本、便携、通用且具有力反馈的遥操作界面，以方便灵巧手的控制和数据采集。

核心思路：DEX-Mouse的核心思路是利用现成的低成本组件，构建一个手持式遥操作设备，该设备无需校准，可以立即部署在各种环境和平台上。通过集成力反馈，增强操作者的临场感和控制精度。同时，支持将机器人手直接安装在操作者前臂上的配置，以生成机器人对齐的数据。

技术框架：DEX-Mouse系统主要包含以下几个模块：1) 手持式遥操作设备：由传感器和执行器组成，用于捕捉操作者的手部运动并提供力反馈。2) 控制算法：将操作者的手部运动映射到机器人手的运动，并根据机器人手与环境的交互计算力反馈。3) 机器人手：执行控制指令，完成操作任务。4) 数据采集模块：记录操作者的手部运动、机器人手的运动以及力反馈数据。

关键创新：DEX-Mouse的关键创新在于：1) 低成本：采用商用现成组件，显著降低了系统成本。2) 便携性：手持式设计，方便携带和部署。3) 通用性：无需校准，适用于不同的操作者和平台。4) 力反馈：集成了动觉力反馈，增强了操作者的临场感和控制精度。5) 机器人对齐数据：支持将机器人手直接安装在操作者前臂上的配置，生成机器人对齐的数据。

关键设计：DEX-Mouse的关键设计包括：1) 传感器选择：选择合适的传感器来捕捉操作者的手部运动，例如惯性测量单元（IMU）或光学传感器。2) 执行器选择：选择合适的执行器来提供力反馈，例如电机或气动执行器。3) 控制算法设计：设计合适的控制算法，将操作者的手部运动映射到机器人手的运动，并根据机器人手与环境的交互计算力反馈。4) 数据采集：设计数据采集模块，记录操作者的手部运动、机器人手的运动以及力反馈数据。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

用户研究表明，在手臂附加配置下，DEX-Mouse实现了86.67%的任务完成率。与空间分离的遥操作设置相比，附加配置显著降低了操作者的感知工作量。这些结果表明，DEX-Mouse在灵巧手遥操作方面具有显著优势，尤其是在手臂附加配置下。

🎯 应用场景

DEX-Mouse可应用于各种需要灵巧手操作的场景，例如远程医疗、危险环境下的操作、工业自动化等。该系统可以帮助操作者更安全、高效地完成任务。此外，DEX-Mouse采集的数据可用于训练机器人手的控制策略，提高机器人手的自主操作能力。未来，DEX-Mouse有望成为灵巧手遥操作和数据采集的重要工具。

📄 摘要（原文）

Data-driven dexterous hand manipulation requires large-scale, physically consistent demonstration data. Simulation and video-based methods suffer from sim-to-real gaps and retargeting problems, while MoCap glove-based teleoperation systems require per-operator calibration and lack portability, as the robot hand is typically fixed to a stationary arm. Portable alternatives improve mobility but lack cross-platform and cross-operator compatibility. We present DEX-Mouse, a portable, calibration-free hand-held teleoperation interface with integrated kinesthetic force feedback, built from commercial off-the-shelf components under USD 150. The operator-agnostic design requires no calibration or structural modification, enabling immediate deployment across diverse environments and platforms. The interface supports a configuration in which the target robot hand is mounted directly on the forearm of an operator, producing robot-aligned data. In a comparative user study across various dexterous manipulation tasks, operators using the proposed system achieved an 86.67% task completion rate under the attached configuration. Also, we found that the attached configuration reduced the perceived workload of the operators compared to spatially separated teleoperation setups across all compared interfaces. The complete hardware and software stack, including bill of materials, CAD models, and firmware, is open-sourced at https://dex-mouse.github.io/ to facilitate replication and adoption.