Sim-to-Real Gentle Manipulation of Deformable and Fragile Objects with Stress-Guided Reinforcement Learning

📄 arXiv: 2510.25405v1 📥 PDF

作者: Kei Ikemura, Yifei Dong, David Blanco-Mulero, Alberta Longhini, Li Chen, Florian T. Pokorny

分类: cs.RO

发布日期: 2025-10-29

备注: Under review

💡 一句话要点

提出基于应力引导强化学习的柔性物体轻柔操作方法，实现Sim-to-Real迁移

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 强化学习 柔性物体操作 Sim-to-Real 应力引导 课程学习

📋 核心要点

  1. 现有柔性物体操作方法依赖精确模型或专用传感器，成本高且泛化性不足，难以应对真实场景的复杂性。
  2. 论文提出一种基于视觉的强化学习方法，通过应力惩罚奖励引导智能体学习轻柔的操作策略，避免物体损伤。
  3. 实验结果表明，该方法能够成功地将仿真策略零样本迁移到真实世界，并在操作易碎物体时显著降低应力。

📝 摘要（中文）

针对柔性和易碎物体的机器人操作难题，现有方法依赖精确模型或专用传感器，复杂度高且泛化性差。本文提出一种基于视觉的强化学习方法，通过应力惩罚奖励显式地避免物体损伤。为加速学习，引入离线演示和课程学习，从刚性代理逐步过渡到柔性物体。在仿真和真实场景中验证了该方法，证明了仿真策略能够零样本迁移到真实世界，完成豆腐的拾取和推动等任务。结果表明，与普通强化学习策略相比，所学策略表现出损伤感知的轻柔操作行为，在完成任务目标的同时，施加在易碎物体上的应力降低了36.5%。

🔬 方法详解

问题定义：论文旨在解决柔性和易碎物体（如豆腐）的机器人操作问题。现有方法通常依赖于精确的物体模型、复杂的传感器或定制的夹爪，这些方法成本高昂，且难以泛化到不同的物体和环境。此外，直接在真实环境中训练强化学习策略成本很高，而仿真环境与真实环境的差异（Sim-to-Real gap）使得策略难以直接迁移。

核心思路：论文的核心思路是通过在强化学习的奖励函数中引入应力惩罚项，引导智能体学习轻柔的操作策略，从而避免对柔性物体造成损伤。同时，利用离线演示和课程学习来加速学习过程，并提高策略的泛化能力。通过仿真环境训练策略，并实现零样本迁移到真实环境。

技术框架：整体框架包含以下几个主要部分：1) 基于视觉的强化学习环境，包括仿真环境和真实环境；2) 强化学习算法，使用SAC（Soft Actor-Critic）算法；3) 应力估计模块，用于估计物体受到的应力；4) 奖励函数设计，包含任务奖励和应力惩罚；5) 离线演示数据，用于初始化策略；6) 课程学习策略，从刚性代理逐步过渡到柔性物体。

关键创新：论文的关键创新在于：1) 将应力信息融入强化学习的奖励函数中，从而引导智能体学习轻柔的操作策略；2) 提出了一种课程学习策略，从刚性代理逐步过渡到柔性物体，加速了学习过程；3) 实现了仿真策略到真实环境的零样本迁移，降低了训练成本。

关键设计：应力估计模块使用预训练的视觉模型来估计物体表面的应力分布。奖励函数设计为任务奖励减去应力惩罚项，应力惩罚项与估计的应力大小成正比。课程学习策略通过逐渐减小刚性代理的刚度，使其逐渐接近柔性物体的特性。SAC算法使用两个Q函数和一个策略网络，通过最大化熵来提高探索能力。

📊 实验亮点

实验结果表明，与没有应力惩罚的普通强化学习策略相比，该方法能够显著降低施加在易碎物体上的应力，降低幅度达到36.5%，同时保持了较高的任务完成率。此外，仿真策略能够零样本迁移到真实环境，证明了该方法的有效性和泛化能力。在豆腐的拾取和推动任务中，机器人能够成功地完成任务，并且避免对豆腐造成明显的损伤。

🎯 应用场景

该研究成果可应用于食品加工、医疗手术、精密仪器装配等领域，在这些领域中，对柔性和易碎物体的操作至关重要。通过学习轻柔的操作策略，机器人可以更安全、更有效地完成任务，减少物体损伤，提高生产效率。未来，该方法有望扩展到更复杂的物体和环境，实现更智能、更灵活的机器人操作。

📄 摘要（原文）

Robotic manipulation of deformable and fragile objects presents significant challenges, as excessive stress can lead to irreversible damage to the object. While existing solutions rely on accurate object models or specialized sensors and grippers, this adds complexity and often lacks generalization. To address this problem, we present a vision-based reinforcement learning approach that incorporates a stress-penalized reward to discourage damage to the object explicitly. In addition, to bootstrap learning, we incorporate offline demonstrations as well as a designed curriculum progressing from rigid proxies to deformables. We evaluate the proposed method in both simulated and real-world scenarios, showing that the policy learned in simulation can be transferred to the real world in a zero-shot manner, performing tasks such as picking up and pushing tofu. Our results show that the learned policies exhibit a damage-aware, gentle manipulation behavior, demonstrating their effectiveness by decreasing the stress applied to fragile objects by 36.5% while achieving the task goals, compared to vanilla RL policies.