FolDeX: A Physical-World Benchmark for Long-Horizon Robotic Manipulation of Deformable Objects
作者: Chenhuan Liu, Yi Xu, Feng Wu, Hanyang Wang, Wenxiao Kuai, Weihao Ding, Shan Wang, Yang Liu, Shuyong Gao, Wenqiang Zhang
分类: cs.RO
发布日期: 2026-09-09
💡 一句话要点
提出FolDeX基准以解决长时间变形物体操控问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 长时间操控 变形物体 真实机器人 数据重用 评估平台 衣物折叠 智能机器人
📋 核心要点
- 现有方法在长时间变形物体操控中表现不佳，尤其是在真实环境中，无法有效跟踪状态变化。
- FolDeX基准通过利用异构物理经验的高效重用，解决了长时间变形物体操控的评估和训练问题。
- FolDeX提供了丰富的真实数据和标准化评估平台，促进了长时间变形物体操控的研究和应用。
📝 摘要（中文）
Embodied AI，包括视觉-语言-行动和世界-行动模型，必须在物理世界中可靠运行。然而，在真实机器人上表现良好的方法在长时间变形物体操控中可能会显著下降，尤其是在需要跟踪变化状态和执行可靠的多阶段双手交互的情况下。现有的真实机器人基准主要集中在短时间刚性物体任务上，且对长时间变形操控的覆盖有限。我们引入FolDeX，这是一个完全基于真实机器人数据构建的物理世界基准，主要任务为衣物折叠。FolDeX提供了2000多个小时的真实机器人数据，涵盖20多个任务和10多个机器人形态，并建立了一个公平的真实机器人评估平台，供外部提交的策略使用。
🔬 方法详解
问题定义：论文要解决长时间变形物体操控中的可靠性问题，现有方法在真实环境中表现不佳，尤其是需要多阶段交互的任务。
核心思路：FolDeX基准通过收集和重用真实机器人数据，特别是衣物折叠任务，来提升长时间操控的有效性和可靠性。
技术框架：整体架构围绕四个研究方向展开：利用人类干预和恢复数据、跨任务数据转移、场景间数据重用以及机器人形态间的数据转移。
关键创新：FolDeX的创新在于其完全基于真实数据构建，并提供了一个公平的评估平台，允许外部策略的提交和测试。
关键设计：在数据收集过程中，FolDeX关注不同任务和场景的变化，确保数据的多样性和适应性，同时采用标准化的任务和执行协议。
🖼️ 关键图片
📊 实验亮点
FolDeX基准提供了超过2000小时的真实机器人数据，涵盖20多个任务和10多个机器人形态。通过标准化的评估平台，研究者可以公平地测试和比较不同策略的性能，促进了长时间变形物体操控的研究。
🎯 应用场景
FolDeX基准的潜在应用领域包括智能家居、服务机器人和工业自动化等。通过提供丰富的真实数据和评估平台，FolDeX有助于推动变形物体操控技术的进步，提升机器人在复杂环境中的操作能力，具有重要的实际价值和未来影响。
📄 摘要（原文）
Embodied AI, including vision-language-action and world-action models, must operate reliably in the physical world. Yet methods that perform well in simulation can degrade substantially on real robots, especially in long-horizon deformable-object manipulation, where policies must track changing states and execute reliable multi-stage bimanual interactions. Existing real-robot benchmarks mainly focus on short-horizon rigid-object tasks and offer limited coverage of long-horizon deformable manipulation. We introduce FolDeX, a physical-world benchmark built entirely from real-robot data, with garment folding as its primary task. Since real-robot data collection is costly, FolDeX studies how heterogeneous physical experience can be reused efficiently. The benchmark is organized around four research axes: leveraging human intervention and recovery data collected during deployment; transferring data across tasks, including across garment categories and from rigid to deformable-object manipulation; reusing data across scenes with changes in lighting, background, and layout; and transferring data across robotic embodiments. FolDeX provides 2,000+ hours of real-robot data spanning 20+ tasks and 10+ embodiments. We also establish a fair real-robot evaluation platform for externally submitted policies, with standardized tasks, held-out physical objects, controlled initializations, and a unified execution protocol. The platform is publicly accessible at https://ai.midea.com/#/fold-challenge. We hope FolDeX will serve as a unified testbed for heterogeneous real-robot data reuse and reliable long-horizon deformable manipulation.