Learn the Task, Not the Schedule: Reducing Spurious Cross-Arm Coupling in Bimanual Imitation Learning
作者: Shuyuan Hu, Deng-Ke Wu, Yifan Jin, Qianhang Luo, Mingchen Ju, Kai Ye, Bo Zhao
分类: cs.RO, cs.AI, cs.LG
发布日期: 2026-10-19
🔗 代码/项目: GITHUB
💡 一句话要点
提出约束保持时间重组方法以解决双手模仿学习中的虚假交叉臂耦合问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)
关键词: 双手模仿学习 约束保持 时间重组 机器人学习 交叉臂耦合 调度优化 传感器内容保留
📋 核心要点
- 现有的模仿学习方法未能有效区分任务所需的交叉臂约束与调度选择，导致虚假耦合现象。
- 提出的约束保持时间重组（CTR）方法通过重新调整动作时间段，保留任务所需的交叉臂约束，避免了不必要的耦合。
- 实验结果显示，CTR显著提高了真实机器人任务的成功率，最强非CTR调度混合的最差状态成功率从56%提升至76%。
📝 摘要（中文）
双手演示不仅指定了机器人应执行的任务，还规定了每只手的具体动作时间。标准模仿学习未能区分任务所需的交叉臂约束与偶然的调度选择，可能会利用相对臂的进度作为捷径，从而在当前任务阶段中产生虚假的交叉臂耦合。本文提出了约束保持时间重组（CTR），这是一种训练时的数据干预方法，旨在保留记录的臂局部传感器内容，同时重新调整相应的时间段，以实现保持任务所需交叉臂约束的可接受调度。我们在四个模拟任务和四个真实机器人任务上评估了CTR的效果。
🔬 方法详解
问题定义：本文旨在解决双手模仿学习中的虚假交叉臂耦合问题。现有方法未能有效区分任务所需的交叉臂约束与偶然的调度选择，导致模型在不相关的时间进度上产生依赖。
核心思路：论文提出的约束保持时间重组（CTR）方法，通过在训练阶段对数据进行干预，保留臂局部传感器内容的同时，重新调整时间段，以实现符合任务要求的调度，从而避免虚假耦合。
技术框架：CTR方法的整体架构包括数据干预模块和调度重组模块。数据干预模块负责提取和保留传感器内容，而调度重组模块则根据任务要求重新安排动作时间。
关键创新：CTR的最大创新在于其能够在训练过程中有效区分和保留任务所需的交叉臂约束，避免了传统方法中因调度选择导致的虚假耦合现象。
关键设计：CTR方法在参数设置上进行了优化，确保了调度的可接受性，并设计了特定的损失函数以平衡任务约束与调度选择之间的关系。
🖼️ 关键图片
📊 实验亮点
实验结果表明，使用CTR方法后，真实机器人任务的最差状态成功率从56%提升至76%。在独立任务中，CTR显著减少了动作延迟，表明其在调度优化方面的有效性。与传统窄调度基线相比，CTR在任务约束违反率上也表现出显著优势，仅为0-4%。
🎯 应用场景
该研究的潜在应用领域包括人形机器人、协作机器人以及其他需要双手协调的自动化系统。通过提高模仿学习的准确性和可靠性，CTR方法能够在复杂的任务环境中实现更高效的机器人操作，具有重要的实际价值和未来影响。
📄 摘要（原文）
A bimanual demonstration specifies both what the robot should do and one particular schedule for when each arm should act. Standard imitation learning does not distinguish task-required cross-arm constraints from incidental scheduling choices, and may therefore exploit opposite-arm progress as a shortcut cue, creating spurious cross-arm coupling even where relative timing is irrelevant for the current task phase. We introduce Constraint-preserving Temporal Recombination (CTR), a training-time data intervention that preserves recorded arm-local sensorimotor content while retiming the corresponding segments to realize admissible schedules that preserve task-required cross-arm constraints. We use CTR to train Diffusion Policy, Action Chunking with Transformers, and $π_{0.5}$, and evaluate them on four simulated and four real-robot tasks. Across six real-robot bimanual progress-state initializations, CTR raises worst-state success from 56% for the strongest non-CTR schedule mixture to 76%. With $π_{0.5}$ on an Independent task, a 4 s pause transfers 2.56 s of delay to the opposite arm under the Concurrent schedule distribution, but only 0.25 s with CTR. On real robots, CTR violates task constraints in only 0--4% of trials, versus 36--98% for narrow-schedule baselines. Code will be released at https://github.com/MINT-SJTU/CTR.