Vision-Based 6-DoF Grasp Pose Estimation for Robot Cloth Unfolding

📄 arXiv: 2609.31452v1 📥 PDF

作者: Domen Tabernik, Peter Nimac, Jan Jerićević, Danijel Skočaj, Andrej Gams

分类: cs.RO, cs.CV

发布日期: 2026-09-25

备注: Published in IEEE Transactions on Cybernetics

DOI: 10.1109/TCYB.2026.3732543

💡 一句话要点

提出CeDiRNet-6DoF以解决机器人布料展开问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: 布料操作 机器人抓取 深度学习 6自由度 视觉感知 自动化 智能制造

📋 核心要点

  1. 布料操作面临复杂的交互动态和视觉模糊，现有方法在抓取点选择和姿态估计上存在不足。
  2. 提出CeDiRNet-6DoF框架，通过深度学习联合预测抓取点和6自由度抓取姿态，优化布料展开过程。
  3. 在双手机器人设置下进行评估，CeDiRNet-6DoF在布料展开任务中表现出色，达到最先进的性能水平。

📝 摘要（中文）

布料操作因其可变形和高维特性而面临挑战，尤其是在关键视觉线索如褶皱、边缘和抓取点频繁被遮挡的情况下。本文提出了一种基于重抓取的布料展开策略，利用一个操控器固定布料，另一个操控器在优化选择的点上抓取布料以展开。我们提出了CeDiRNet-6DoF深度学习框架，能够从观察到的布料配置中联合预测有效的抓取点和完整的6自由度抓取姿态。通过将密集的3D抓取回归与分割和正弦-余弦编码的欧拉角结合，所提方法可靠地估计出最大化展开布料面积的抓取配置。我们在ICRA 2024布料竞赛框架下对CeDiRNet-6DoF进行了广泛评估，取得了领先的性能。

🔬 方法详解

问题定义：本文旨在解决布料展开过程中抓取点选择和姿态估计的挑战，现有方法在处理布料的复杂性和遮挡问题时效果不佳。

核心思路：提出的CeDiRNet-6DoF框架通过深度学习技术，联合预测有效的抓取点和完整的6自由度抓取姿态，以优化布料展开的效果。

技术框架：该框架包括密集的3D抓取回归模块、分割模块以及正弦-余弦编码的欧拉角模块，整体流程通过这些模块协同工作来实现抓取配置的准确估计。

关键创新：CeDiRNet-6DoF的核心创新在于将抓取点预测与姿态估计结合，利用深度学习技术提升了抓取配置的准确性和可靠性，区别于传统方法的单一预测方式。

关键设计：在设计中，采用了联合分割、背景随机化和图像裁剪等技术细节，优化了模型的训练过程和性能表现。通过这些设计，模型能够更好地适应复杂的布料操作环境。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在ICRA 2024布料竞赛中，CeDiRNet-6DoF展示了卓越的性能，超越了现有基线，具体性能数据表明其在抓取配置估计上的准确性和可靠性显著提升，验证了其作为布料操作基础的有效性。

🎯 应用场景

该研究的潜在应用领域包括机器人布料处理、自动化服装制造和智能家居等。通过提高机器人在复杂环境中处理布料的能力，能够显著提升生产效率和操作精度，推动相关行业的智能化发展。

📄 摘要（原文）

Cloth manipulation is a challenging task due to the deformable and high-dimensional nature of cloth, which leads to complex interaction dynamics and perceptual ambiguity arising from frequent occlusions of critical visual cues such as folds, edges, and grasp points. In this work, we tackle cloth unfolding using a regrasping-in-the-air strategy, where one manipulator holds the cloth while the other grasps it at an optimally selected point to unfold it. To this end, we propose CeDiRNet-6DoF, a deep learning framework that jointly predicts effective grasp points and the complete 6-DoF grasp pose from the observed cloth configuration. By integrating dense 3D grasp regression with segmentation and sine-cosine-encoded Euler angles, the proposed method reliably estimates the grasp configuration that maximizes the unfolded cloth area. We extensively evaluated CeDiRNet-6DoF on a bimanual robotic setup within the ICRA 2024 Cloth Competition framework, achieving state-of-the-art performance. An ablation study further validates the benefits of key design components, including joint segmentation, background randomization, and image cropping. These results establish CeDiRNet-6DoF as a robust and versatile foundation for reliable robotic cloth manipulation in unstructured environments.