Coordi-pi: Coordination-Aware Dual-Hand Action Representation for Bimanual Dexterous Manipulation

📄 arXiv: 2610.19753v1 📥 PDF

作者: Yiming Meng, Yanming Shao, Weijie Shen, Kunyang Lin, Jiayu Sun, Ping Luo, Yao Mu

分类: cs.RO

发布日期: 2026-10-14

💡 一句话要点

提出Coordi-π以解决双手灵巧操作中的动作表示问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 双手灵巧操作 视觉-语言-动作 动作表示 机器人技术 深度学习

📋 核心要点

  1. 现有的双手VLA策略未能有效处理双手交互，导致动作表示不足，影响操作性能。
  2. Coordi-π通过将左右手动作作为独立的动作标记并组织为交错序列，显式编码手部身份和时间同步。
  3. 在DexJoCo的五个任务中，Coordi-π的成功率从31.9%提升至51.3%，在真实世界任务中也表现优异。

📝 摘要（中文）

视觉-语言-动作（VLA）模型在通用机器人操作中展现出强大的潜力，但在双手灵巧操作中扩展到高维且结构化的动作空间面临挑战。现有的双手VLA策略通常将左右手的动作在每个控制时间步上进行串联，导致交叉手部交互在单一动作向量中隐含。本文提出Coordi-π，一种结构化的双手灵巧操作动作表示方法，明确区分左右手动作并将其组织为交错序列，显式暴露两侧动作。通过可学习的手部身份嵌入和序列-控制时间步因子化的旋转位置编码（RoPE），Coordi-π在DexJoCo的五个双手灵巧操作任务中实现了最先进的性能，成功率显著提升。

🔬 方法详解

问题定义：本文旨在解决双手灵巧操作中现有VLA模型在动作表示上的不足，特别是交叉手部交互未被有效捕捉的问题。

核心思路：Coordi-π通过将左右手动作作为独立的动作标记，并将其组织为交错序列，明确区分手部身份和时间同步，从而提升双手操作的表现。

技术框架：该方法包括两个主要模块：手部身份嵌入和旋转位置编码（RoPE）。手部身份嵌入用于区分左右手，而RoPE则将序列位置与控制时间步分离，允许在同一时间步共享时间坐标。

关键创新：Coordi-π的创新在于其交错的动作表示方式，显式地将左右手动作分开处理，与现有方法的串联方式形成鲜明对比，提升了双手交互的表达能力。

关键设计：采用可学习的手部身份嵌入和因子化的旋转位置编码，确保在同一控制时间步的动作能够共享时间信息，同时保持独特的序列位置，增强了模型的灵活性和准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在DexJoCo的五个双手灵巧操作任务中，Coordi-π在rand-obj和rand-full条件下的成功率分别从31.9%提升至51.3%和从18.3%提升至32.3%。此外，该方法在四个真实世界任务中也持续超越基线模型π_{0.5}，展现出显著的性能提升。

🎯 应用场景

Coordi-π的研究成果在多种双手操作场景中具有广泛的应用潜力，包括工业机器人、家庭服务机器人以及医疗辅助设备等。通过提升双手灵巧操作的效率和准确性，该方法能够显著改善机器人在复杂任务中的表现，推动智能机器人技术的发展。

📄 摘要（原文）

Vision-language-action (VLA) models have shown strong potential for general-purpose robotic manipulation, but extending them to bimanual dexterous manipulation introduces a high-dimensional and structured action space. Existing bimanual VLA policies commonly concatenate right- and left-side arm--hand actions at each control timestep, leaving cross-hand interactions implicit within a single action vector. We introduce Coordi-$π$, a structured action representation for bimanual dexterous manipulation. Coordi-$π$ represents the right- and left-side arm--hand actions as individual action tokens and organizes them into an interleaved sequence, explicitly exposing the two sides within the action sequence. To explicitly encode hand identity and temporal synchronization in this interleaved representation, a learnable hand-identity embedding distinguishes the two sides, while sequence--control-timestep factorized rotary positional encoding (RoPE) separates sequence position from control timestep, allowing actions at the same control timestep to share a temporal coordinate while retaining distinct sequence positions. Across all five bimanual dexterous manipulation tasks in DexJoCo, Coordi-$π$ achieves state-of-the-art performance under both \textit{rand-obj} and \textit{rand-full}, improving the average success rate over $π_{0.5}$ from 31.9\% to 51.3\% and from 18.3\% to 32.3\%, respectively. Coordi-$π$ also consistently outperforms $π_{0.5}$ across four real-world bimanual dexterous manipulation tasks.