UniBiDex: A Unified Teleoperation Framework for Robotic Bimanual Dexterous Manipulation

📄 arXiv: 2601.04629v1 📥 PDF

作者: Zhongxuan Li, Zeliang Guo, Jun Hu, David Navarro-Alarcon, Jia Pan, Hongmin Wu, Peng Zhou

分类: cs.RO

发布日期: 2026-01-08

💡 一句话要点

UniBiDex：用于灵巧双臂机器人遥操作的统一框架

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: 双臂机器人 遥操作 VR控制 零空间控制 机器人学习 人机交互 灵巧操作

📋 核心要点

  1. 现有双臂机器人遥操作方法在处理异构输入设备和保证运动安全性方面存在挑战。
  2. UniBiDex框架通过统一的控制堆栈和零空间控制，实现了异构输入设备下的安全、平滑的双臂遥操作。
  3. 实验表明，UniBiDex在复杂操作任务中优于现有方法，并开源了软硬件，促进机器人学习研究。

📝 摘要（中文）

本文提出UniBiDex，一个用于灵巧双臂机器人遥操作的统一框架，支持基于VR和leader-follower的输入方式。UniBiDex通过将异构输入设备集成到具有一致运动学处理和安全保证的共享控制堆栈中，实现实时的、富接触的双臂遥操作。该框架采用零空间控制来优化双臂配置，确保任务中平滑、无碰撞和避免奇异性的运动。我们在一个包含五个连续操作子任务的长时程厨房整理任务中验证了UniBiDex，与强大的基线方法相比，UniBiDex表现出更高的任务成功率、更平滑的轨迹和更强的鲁棒性。通过开源所有硬件和软件组件，我们旨在降低收集大规模高质量人类演示数据集的门槛，并加速机器人学习的进展。

🔬 方法详解

问题定义：现有的双臂机器人遥操作系统通常难以同时支持多种输入方式（如VR和leader-follower），并且在保证操作过程中的安全性（避免碰撞和奇异位形）方面存在挑战。此外，收集高质量的人类示教数据也面临较高的技术门槛。

核心思路：UniBiDex的核心思路是构建一个统一的控制框架，能够无缝集成不同的输入设备，并通过零空间控制优化双臂的运动配置，从而实现安全、高效的遥操作。通过开源软硬件，降低数据收集的门槛。

技术框架：UniBiDex框架包含以下主要模块：1) 异构输入设备接口：支持VR手柄和leader-follower机械臂等多种输入设备。2) 统一的控制堆栈：将不同输入设备的信号转换为统一的机器人控制指令。3) 零空间控制器：在满足主任务（末端执行器的运动）的同时，优化双臂的关节配置，避免碰撞和奇异位形。4) 安全监控模块：实时监测机器人的状态，并在出现危险情况时采取保护措施。

关键创新：UniBiDex的关键创新在于其统一的控制框架和零空间控制器的结合。该框架能够灵活地支持多种输入方式，并保证操作过程中的安全性。此外，开源的软硬件降低了数据收集的门槛，促进了机器人学习的研究。

关键设计：零空间控制器通过优化一个目标函数来调整双臂的关节角度，该目标函数通常包含以下几项：1) 避免碰撞：通过惩罚机器人与环境之间的距离来避免碰撞。2) 避免奇异位形：通过惩罚关节角度接近奇异位形来避免奇异位形。3) 优化关节运动：通过最小化关节运动的幅度来提高操作的平滑性。具体参数设置（如惩罚系数）需要根据具体的机器人和任务进行调整。

📊 实验亮点

在厨房整理任务中，UniBiDex相较于基线方法展现出更高的任务成功率、更平滑的轨迹和更强的鲁棒性。具体而言，UniBiDex在五个连续操作子任务上的成功率显著高于对比方法，轨迹的平滑度也有明显提升，并且在面对环境变化时表现出更强的适应能力。这些结果验证了UniBiDex框架的有效性和优越性。

🎯 应用场景

UniBiDex框架可应用于各种需要灵巧双臂操作的场景，例如远程医疗、危险环境下的作业、以及自动化装配等。通过该框架，操作人员可以在安全的环境中远程控制机器人完成复杂的任务，从而提高工作效率和安全性。此外，开源的UniBiDex平台可以促进机器人学习领域的研究，加速机器人技术的进步。

📄 摘要（原文）

We present UniBiDex a unified teleoperation framework for robotic bimanual dexterous manipulation that supports both VRbased and leaderfollower input modalities UniBiDex enables realtime contactrich dualarm teleoperation by integrating heterogeneous input devices into a shared control stack with consistent kinematic treatment and safety guarantees The framework employs nullspace control to optimize bimanual configurations ensuring smooth collisionfree and singularityaware motion across tasks We validate UniBiDex on a longhorizon kitchentidying task involving five sequential manipulation subtasks demonstrating higher task success rates smoother trajectories and improved robustness compared to strong baselines By releasing all hardware and software components as opensource we aim to lower the barrier to collecting largescale highquality human demonstration datasets and accelerate progress in robot learning.