RTFF: Random-to-Target Fabric Flattening Policy using Dual-Arm Manipulator
作者: Kai Tang, Dipankar Bhattacharya, Hang Xu, Fuyuki Tokuda, Norman C. Tien, Kazuhiro Kosuge
分类: cs.RO
发布日期: 2025-10-01
备注: 9 pages, 6 figures, conference
🔗 代码/项目: PROJECT_PAGE
💡 一句话要点
提出RTFF策略，利用双臂机器人实现任意皱褶织物到目标平整状态的对齐
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)
关键词: 织物操作 双臂机器人 模仿学习 视觉伺服 Transformer 网格表示 服装制造
📋 核心要点
- 织物操作面临织物易变形、自由度高以及遮挡等挑战，现有方法难以实现可靠的展平和对齐。
- 提出RTFF策略，结合模仿学习和视觉伺服，利用网格模板实现织物从随机状态到目标状态的对齐。
- 实验表明，RTFF策略在真实双臂系统中实现了零样本对齐，具有高精度和良好的泛化能力。
📝 摘要（中文）
在服装生产中，机器人织物操作（如缝纫、裁剪和熨烫）需要可靠的展平和对齐，但由于织物的可变形性、无限的自由度以及来自皱纹、折叠和机械臂末端执行器（EE）的频繁遮挡，这仍然具有挑战性。为了解决这些问题，本文提出了首个随机到目标织物展平（RTFF）策略，该策略将随机皱褶的织物状态对齐到任意无皱褶的目标状态。该策略采用混合模仿学习-视觉伺服（IL-VS）框架，其中IL学习显式织物模型，以将皱褶织物粗略对齐到接近目标的无皱褶状态，而VS确保与目标的精细对齐。该框架的核心是基于模板的网格，它提供精确的目标状态表示、感知皱纹的几何预测以及跨RTFF操作步骤的一致顶点对应关系，从而实现稳健的操作和无缝的IL-VS切换。利用网格的强大功能，通过将网格信息调节到基于Transformer的策略中，提出了一种用于RTFF的新型IL解决方案——网格动作分块Transformer（MACT）。RTFF策略在真实的双臂遥操作系统中得到验证，显示出对不同目标的零样本对齐、高精度以及跨织物和尺度的强大泛化能力。
🔬 方法详解
问题定义：论文旨在解决服装制造中，利用双臂机器人将任意皱褶状态的织物展平并对齐到预定目标状态的问题。现有方法难以处理织物的高自由度、易变形以及操作过程中的遮挡问题，导致展平和对齐的精度和鲁棒性不足。
核心思路：论文的核心思路是结合模仿学习（IL）和视觉伺服（VS），构建一个混合框架。模仿学习用于粗略地将皱褶织物移动到目标状态附近，而视觉伺服则用于精细地调整织物，使其与目标状态完全对齐。关键在于使用基于模板的网格来表示织物状态，从而实现精确的目标状态表示和一致的顶点对应关系。
技术框架：RTFF策略的技术框架主要包含以下几个阶段：1) 使用基于模板的网格表示织物状态，包括当前状态和目标状态。2) 使用模仿学习（IL）训练一个策略，该策略能够根据当前织物状态（由网格表示）预测下一步的动作，从而将织物粗略地移动到目标状态附近。论文提出了一个名为MACT（Mesh Action Chunking Transformer）的网络结构来实现IL。3) 使用视觉伺服（VS）对织物进行精细调整，使其与目标状态完全对齐。VS利用网格信息来计算误差，并控制机器人的动作。
关键创新：论文的关键创新在于：1) 提出了RTFF策略，将模仿学习和视觉伺服相结合，实现了织物展平和对齐的自动化。2) 使用基于模板的网格来表示织物状态，从而实现了精确的目标状态表示和一致的顶点对应关系，解决了织物变形带来的挑战。3) 提出了MACT网络结构，将网格信息融入到Transformer中，提高了模仿学习的性能。
关键设计：MACT网络结构是基于Transformer的，其输入包括当前织物状态的网格信息和目标状态的网格信息。网络输出是机器人的动作序列。损失函数包括模仿学习损失和视觉伺服损失。模仿学习损失用于衡量预测动作与专家动作之间的差异，视觉伺服损失用于衡量当前织物状态与目标状态之间的差异。具体参数设置未知。
🖼️ 关键图片
📊 实验亮点
实验结果表明，RTFF策略在真实的双臂遥操作系统中实现了对不同目标的零样本对齐，具有高精度和强大的泛化能力。具体性能数据未知，但论文强调了其在不同织物和尺度上的良好表现。与现有方法相比，RTFF策略能够更有效地处理织物的变形和遮挡问题。
🎯 应用场景
该研究成果可应用于服装制造、纺织品加工等领域，实现织物的自动化展平和对齐，提高生产效率和产品质量。例如，可以用于自动缝纫、自动裁剪、自动熨烫等环节。此外，该技术还可以扩展到其他柔性物体的操作，如皮革、纸张等。
📄 摘要（原文）
Robotic fabric manipulation in garment production for sewing, cutting, and ironing requires reliable flattening and alignment, yet remains challenging due to fabric deformability, effectively infinite degrees of freedom, and frequent occlusions from wrinkles, folds, and the manipulator's End-Effector (EE) and arm. To address these issues, this paper proposes the first Random-to-Target Fabric Flattening (RTFF) policy, which aligns a random wrinkled fabric state to an arbitrary wrinkle-free target state. The proposed policy adopts a hybrid Imitation Learning-Visual Servoing (IL-VS) framework, where IL learns with explicit fabric models for coarse alignment of the wrinkled fabric toward a wrinkle-free state near the target, and VS ensures fine alignment to the target. Central to this framework is a template-based mesh that offers precise target state representation, wrinkle-aware geometry prediction, and consistent vertex correspondence across RTFF manipulation steps, enabling robust manipulation and seamless IL-VS switching. Leveraging the power of mesh, a novel IL solution for RTFF-Mesh Action Chunking Transformer (MACT)-is then proposed by conditioning the mesh information into a Transformer-based policy. The RTFF policy is validated on a real dual-arm tele-operation system, showing zero-shot alignment to different targets, high accuracy, and strong generalization across fabrics and scales. Project website: https://kaitang98.github.io/RTFF_Policy/