Learning Sim-Grounded Policies for Bimanual Rope Manipulation from Human Teleoperation Data

📄 arXiv: 2605.16043v1 📥 PDF

作者: Gina Wigginghaus, Tim Missal, Berk Guler, Simon Manschitz, Jan Peters

分类: cs.RO, cs.AI

发布日期: 2026-05-15

备注: Accepted to the Beyond Teleoperation Workshop at ICRA 2026, 5 pages, 2 figures

💡 一句话要点

提出基于物理仿真的策略学习方法，提升双臂操作绳索解结任务的泛化性。

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱六：视频提取与匹配 (Video Extraction)

关键词: 双臂操作 绳索操作 模仿学习 物理仿真 状态表示

📋 核心要点

  1. 现有基于视觉的绳索操作策略泛化性差，原因可能在于观察空间的局限性，而非策略本身或数据量。
  2. 提出一种基于物理仿真的状态表示方法，利用多视图融合和粒子动力学模拟提取绳索的3D状态。
  3. 实验表明，基于状态的策略在预测抓取和拉动动作时，L1误差显著降低，验证了该方法的有效性。

📝 摘要（中文）

绳索和电缆等可变形线性物体(DLOs)在家庭和工业应用中广泛存在，但由于其无限维的配置空间和频繁的自遮挡，操作起来仍然具有挑战性。从遥操作中进行模仿学习为双臂DLO操作提供了一条可行的途径，但其可扩展性受到人为努力的限制，使得观察空间的选择对于从小数据集中的泛化至关重要。本研究探讨了基于自我中心视觉策略在解结任务中缺乏泛化性是否源于观察空间本身，而不是策略架构或数据规模。我们比较了两个基于Transformer的动作分块策略，它们在相同的双臂遥操作数据上进行训练：一个基于视觉的策略，以来自腕戴式相机的两个自我中心RGB流为条件；以及一个基于状态的策略，以DLO的3D粒子状态为条件，该状态通过多视图融合从初始观察中提取，并在基于粒子的扩展位置动力学模拟中演化。在未见过的绳索配置上进行开环评估时，基于状态的策略在预测初始抓取和拉动动作时，L1误差降低了30.8%，优于其视觉对应策略，量化了像素和物理一致状态之间的可观察性差距，并指向了从有限的人工演示中进行更高效的DLO操作机器人学习。

🔬 方法详解

问题定义：论文旨在解决双臂机器人操作绳索等可变形线性物体（DLOs）时，基于视觉的策略泛化性差的问题。现有方法依赖于大量的视觉数据，且容易受到自遮挡等因素的影响，导致在新的绳索配置下性能下降。

核心思路：论文的核心思路是将视觉信息转化为物理状态信息，利用物理仿真来表示和预测绳索的运动。通过多视图融合和粒子动力学模拟，提取绳索的3D粒子状态，并以此作为策略的输入。这种方法可以减少对大量视觉数据的依赖，并提高策略的泛化性。

技术框架：整体框架包括以下几个主要步骤：1) 使用腕戴式相机获取绳索的多视图RGB图像；2) 通过多视图融合算法从初始图像中提取绳索的3D粒子状态；3) 使用基于粒子的扩展位置动力学（eXtended Position-Based Dynamics）模拟绳索的运动；4) 使用Transformer网络学习从绳索状态到抓取和拉动动作的映射。

关键创新：最重要的技术创新点在于使用物理仿真来表示和预测绳索的运动。与直接从视觉图像学习策略相比，这种方法可以更好地捕捉绳索的物理特性，并提高策略的泛化性。此外，论文还使用了基于粒子的扩展位置动力学模拟，可以更准确地模拟绳索的形变。

关键设计：论文使用了Action Chunking with Transformers (ACT)策略，该策略可以将连续的动作序列分解为离散的动作块，从而简化学习过程。损失函数采用L1损失，用于衡量预测动作与真实动作之间的差异。网络结构采用标准的Transformer结构，包括编码器和解码器。

🖼️ 关键图片

fig_0

📊 实验亮点

实验结果表明，基于状态的策略在预测初始抓取和拉动动作时，L1误差比基于视觉的策略降低了30.8%。这表明，利用物理仿真提取的绳索状态信息可以显著提高策略的泛化性，并减少对大量视觉数据的依赖。该结果验证了论文提出的方法的有效性。

🎯 应用场景

该研究成果可应用于自动化绳索操作的各个领域，例如工业生产中的电缆布线、医疗手术中的缝合线操作、以及家庭服务机器人中的绳索整理等。通过提高机器人对绳索等可变形物体的操作能力，可以实现更高效、更安全的自动化生产和生活。

📄 摘要（原文）

Deformable Linear Objects (DLOs) such as ropes and cables are widely encountered in both household and industrial applications, yet remain challenging to manipulate due to their infinite-dimensional configuration space and frequent self-occlusion. Imitation learning from teleoperation offers a practical path to bimanual DLO manipulation, but its scalability is limited by human effort, making the choice of observation space critical for generalization from small datasets. In this study, we investigate whether the lack of generalization in egocentric visual policies for the knot-untangling task stems from the observation space itself, rather than from the policy architecture or data scale. We compare two Action Chunking with Transformers policies trained on the same bimanual teleoperation data: a vision-based policy conditioned on two egocentric RGB streams from wrist-mounted cameras, and a state-based policy conditioned on the DLO's 3D particle state, extracted from an initial observation via multi-view fusion and evolved in a particle-based eXtended Position-Based Dynamics simulation. Evaluated open-loop on an unseen rope configuration, the state-based policy outperforms its visual counterpart with a 30.8% reduction in L1 error when predicting the initial grasp-and-pull action, quantifying the observability gap between pixels and physics-consistent state, and pointing toward more data-efficient robot learning for the DLO manipulation task from limited human demonstrations.