FoldNet++: a Large-Scale Synthetic Dataset for Robotic T-Shirt Folding and Unfolding

📄 arXiv: 2609.12433v1 📥 PDF

作者: Yuxing Chen, Zhiyuan Wei, Bowen Xiao, Zhizheng Zhang, He Wang

分类: cs.RO

发布日期: 2026-09-11

备注: CoRL 2026, Project Page: https://pku-epic.github.io/FoldNetXX/

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出FoldNet++以解决机器人T恤折叠与展开问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: 机器人 T恤折叠 合成数据集 物理模拟 视觉运动策略 智能家居 自动化处理

📋 核心要点

  1. 核心问题：现有方法在训练机器人进行T恤折叠和展开时面临高可变形性带来的挑战，导致通用性不足。
  2. 方法要点：提出FoldNet++，生成一个大规模合成数据集，利用物理模拟和语义关键点来指导机器人操作。
  3. 实验或效果：模型在未见过的真实环境中，基于合成数据训练后，成功率超过90%，显示出良好的泛化能力。

📝 摘要（中文）

由于服装的高度可变形特性，为机器人T恤折叠和展开训练通用策略仍然是一个重大挑战。本文提出了一个大规模合成数据集，涵盖6种机器人形态、1000件T恤、1000个环境资产和120,000个带丰富注释的实验场景，可用于训练多种操作策略。我们首先遵循FoldNet流程生成具有多样外观和注释语义关键点的大规模可物理模拟T恤数据集。基于这些语义关键点，我们通过统一的基于规则的框架生成不同机器人形态的操作演示。实验结果表明，仅使用我们的合成数据训练的模型在未见过的真实环境和T恤上，能够实现超过90%的端到端任务成功率。

🔬 方法详解

问题定义：本文旨在解决机器人在进行T恤折叠和展开时的通用策略训练问题。现有方法往往无法有效应对服装的高度可变形性，导致训练出的策略在真实环境中表现不佳。

核心思路：论文提出FoldNet++，通过生成一个大规模合成数据集，利用物理模拟技术和注释的语义关键点，来指导不同机器人形态的操作演示，从而提升训练效果。

技术框架：整体架构包括数据集生成、操作演示生成和策略训练三个主要模块。首先生成多样化的T恤数据集，然后基于语义关键点生成操作演示，最后利用这些演示训练视觉运动策略。

关键创新：最重要的技术创新在于大规模合成数据集的构建和基于规则的操作演示生成方法，使得训练出的模型能够在未见过的环境中表现出色，显著提升了机器人操作的泛化能力。

关键设计：在数据集生成过程中，采用了多样的T恤外观和丰富的注释信息；在策略训练中，设计了适应性强的损失函数和网络结构，以确保模型能够有效学习到复杂的折叠和展开策略。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，基于FoldNet++合成数据集训练的模型在未见过的真实环境中，能够实现超过90%的任务成功率，相较于传统方法有显著提升。这一成果表明合成数据在机器人学习中的有效性和重要性。

🎯 应用场景

该研究的潜在应用领域包括智能家居、服装自动化处理和服务机器人等。通过提升机器人在复杂环境中的操作能力，FoldNet++有望在未来推动家务自动化和人机协作的发展，提升生活质量和工作效率。

📄 摘要（原文）

Due to the highly deformable nature of garments, training a generalizable policy for robotic T-shirt folding and unfolding remains a significant challenge. In this work, we present a large-scale synthetic dataset for robotic T-shirt folding and unfolding, covering 6 robotic embodiments, 1K T-shirts, 1K environmental assets, and 120K episodes with rich annotations, which can be used to train a wide range of manipulation policies. We first follow the FoldNet pipeline to generate a large-scale dataset of physically simulatable T-shirts with diverse appearances and annotated semantic keypoints. Based on these semantic keypoints, we then generate manipulation demonstrations for different robotic embodiments through a unified rule-based framework. We use these demonstrations to train visuomotor policies, and experimental results demonstrate that models trained solely on our synthetic data can achieve over 90\% end-to-end task success rates when directly deployed to unseen real-world environments and previously unseen T-shirts from arbitrary initial configurations. Project URL: https://pku-epic.github.io/FoldNetXX/.