In-Context Learning World Models for Robot Dual-Arm Manipulation of Soft Garment with Partial Observations
作者: Hengyi Sim, Quentin Rouxel, Dennis Hong, Darwin Caldwell, Fei Chen
分类: cs.RO
发布日期: 2026-10-22
💡 一句话要点
提出软物体世界模型以解决机器人双臂操控挑战
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱四：生成式动作 (Generative Motion) 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation)
关键词: 软物体操控 机器人技术 上下文学习 变换器网络 双臂操作 动态预测 任务规划 模拟与现实
📋 核心要点
- 现有方法在操控软物体时面临高维状态空间和材料变形的挑战，导致机器人难以有效执行复杂任务。
- 本文提出的软物体世界模型通过上下文学习推断潜在形状和材料特性，从而提高机器人对软物体的操控能力。
- 实验结果表明，该方法在双臂衣物折叠任务中显著提高了重建保真度、预测准确性和任务成功率。
📝 摘要（中文）
对软物体（如衣物）的稳健操控是服务和家庭机器人必须掌握的关键技能，但由于高维状态空间和材料依赖的变形，这一任务仍然充满挑战。人类通过使用心理世界模型来应对这一挑战，从部分观察中“想象”形状和材料特性，从而预测动作如何影响未来状态。本文提出了一种软物体世界模型，利用训练于大规模模拟软物体交互的变换器骨干网络，进行生成的全状态估计和基于动作的动态预测，并采取措施减小模拟与现实之间的差距。该模型通过在可变长度的部分点云历史上进行上下文学习，推断潜在的形状和材料线索，能够在不更新权重的情况下跨越机器人形态、材料参数、衣物类型和操控协调模式进行泛化。最后，该世界模型与目标条件动作规划器集成，实现运动合成。我们在模拟和现实中验证了该方法在双手衣物折叠任务中的有效性，报告了重建保真度、预测准确性和任务成功率的提升。
🔬 方法详解
问题定义：本文旨在解决机器人在操控软物体（如衣物）时面临的高维状态空间和材料依赖的变形问题。现有方法通常需要大量真实数据，且难以推断影响动态的潜在属性。
核心思路：提出的软物体世界模型通过上下文学习，从部分观察中推断潜在的形状和材料特性，进而实现更好的泛化能力，适应多种衣物类型和操控模式。
技术框架：该方法的整体架构包括生成的全状态估计模块和基于动作的动态预测模块，均采用变换器骨干网络，并结合目标条件动作规划器进行运动合成。
关键创新：最重要的创新点在于通过上下文学习推断潜在的形状和材料线索，使模型能够在不更新权重的情况下实现跨领域泛化，显著提高了操控的灵活性和准确性。
关键设计：模型设计中采用了变换器架构，结合了大规模模拟数据进行训练，损失函数设计上注重重建保真度和预测准确性，确保模型在真实环境中的有效性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，所提出的模型在双臂衣物折叠任务中，重建保真度提高了XX%，预测准确性提升了YY%，任务成功率达到ZZ%，相较于基线方法有显著改善。
🎯 应用场景
该研究的潜在应用场景包括服务机器人、家庭自动化以及工业机器人等领域，能够显著提升机器人在处理软物体时的灵活性和效率，具有广泛的实际价值和未来影响。
📄 摘要（原文）
Robust manipulation of soft objects, such as garments, is a critical skill for service and household robots to adopt, but remains challenging due to its high-dimensional state space, and material-dependent deformations. Humans address this challenge by using mental world models that "imagine" the shape and material properties from partial observations, which enables them to predict how actions affect future states. As such, embedding such world models in robots allows for better generalization in manipulating a wide variety of garments in the real world. However, learned world models typically require large amounts of real world data that is strenuous to collect, and a mechanism to infer latent properties that govern dynamics. We present a Soft-Object World Model that performs generative full-state estimation and action-conditioned dynamics prediction using a transformer backbone trained on large-scale simulated soft object interactions, with measures to mitigate the sim-to-real gap. By learning to infer latent shape and material cues through in-context learning over a variable-length partial point-cloud history, the model generalizes across robot embodiments, material parameters, garment types and shapes, and manipulation coordination modes without weight updates. The world model is then integrated with a Goal-Conditioned action planner for motion synthesis. We validate the approach in simulation and real world for bimanual garment folding, reporting improvements in reconstruction fidelity, prediction accuracy, and task success.