Learning to Design Soft Hands using Reward Models
作者: Xueqian Bai, Nicklas Hansen, Adabhav Singh, Michael T. Tolley, Yan Duan, Pieter Abbeel, Xiaolong Wang, Sha Yi
分类: cs.RO
发布日期: 2025-10-20
💡 一句话要点
提出基于奖励模型的交叉熵方法，高效优化软体手爪设计。
🎯 匹配领域: 支柱一：机器人控制 (Robot Control)
关键词: 软体机器人 手爪设计 奖励模型 交叉熵方法 遥操作 设计优化 机器人抓取
📋 核心要点
- 软体手爪设计面临高维搜索空间和昂贵计算成本的挑战，难以在柔顺性和功能性之间取得平衡。
- 提出基于奖励模型的交叉熵方法（CEM-RM），利用预收集的遥操作数据学习优化手爪设计分布，加速优化过程。
- 实验结果表明，优化后的手爪在仿真和真实环境中，对各种物体的抓取成功率显著优于基线手爪。
📝 摘要（中文）
软体机器人手爪有望提供与物体和环境的柔顺且安全的交互。然而，设计在各种用例中既柔顺又实用的软体手爪仍然具有挑战性。硬件和控制的协同设计虽然能更好地将形态与行为结合起来，但由此产生的搜索空间是高维的，即使是基于仿真的评估也需要大量的计算资源。本文提出了一种基于奖励模型的交叉熵方法（CEM-RM）框架，该框架基于遥操作控制策略有效地优化了肌腱驱动的软体机器人手爪，与纯优化相比，设计评估减少了一半以上，同时从预先收集的遥操作数据中学习优化手爪设计的分布。我们推导了由弯曲的软手指组成的软体机器人手爪的设计空间，并在仿真中实现了并行训练。然后，使用遥操作数据和实时遥操作将优化后的手爪进行3D打印并在现实世界中部署。仿真和硬件实验表明，我们优化后的设计在各种具有挑战性的物体上的抓取成功率明显优于基线手爪。
🔬 方法详解
问题定义：论文旨在解决软体机器人手爪的设计优化问题。现有方法，特别是纯优化方法，在面对高维设计空间和昂贵的仿真评估成本时，效率低下，难以找到既柔顺又功能强大的手爪设计。
核心思路：论文的核心思路是利用预先收集的遥操作数据，学习一个奖励模型，该模型能够预测不同手爪设计的性能。然后，使用交叉熵方法（CEM）来优化手爪设计，CEM利用奖励模型来指导搜索过程，从而减少了对昂贵仿真的依赖。
技术框架：CEM-RM框架包含以下主要模块：1) 数据收集：通过遥操作收集手爪与物体交互的数据。2) 奖励模型训练：使用收集到的数据训练一个奖励模型，该模型预测给定手爪设计和控制策略的性能。3) 基于CEM的设计优化：使用CEM算法，以奖励模型为指导，迭代地优化手爪设计。CEM维护一个设计分布，并根据奖励模型选择表现最佳的设计，然后使用这些设计更新分布。4) 硬件实现与验证：将优化后的设计进行3D打印，并在真实环境中进行测试。
关键创新：该方法最重要的创新在于将奖励模型与交叉熵方法相结合，从而能够利用少量数据学习手爪设计的有效评估函数，并显著减少了设计优化所需的仿真次数。与传统的纯优化方法相比，CEM-RM能够更有效地探索高维设计空间。
关键设计：论文中，手爪的设计空间包括手指的弯曲度、肌腱的连接位置等参数。奖励模型可以使用各种机器学习模型，例如神经网络。交叉熵方法使用高斯分布来表示设计分布，并通过迭代更新均值和方差来优化设计。损失函数通常基于抓取成功率等指标。
🖼️ 关键图片
📊 实验亮点
实验结果表明，CEM-RM方法能够显著提高软体手爪的抓取成功率。在仿真环境中，优化后的手爪的抓取成功率比基线手爪提高了超过50%。在真实环境中，优化后的手爪也表现出明显的优势，能够成功抓取各种具有挑战性的物体，例如易碎品和不规则形状的物体。
🎯 应用场景
该研究成果可应用于各种需要灵巧操作的机器人领域，例如：工业自动化、医疗康复、家庭服务等。优化后的软体手爪能够更好地适应不同形状和材质的物体，提高操作的安全性、可靠性和效率。未来，该方法可以扩展到其他软体机器人设计，例如软体腿和软体躯干。
📄 摘要（原文）
Soft robotic hands promise to provide compliant and safe interaction with objects and environments. However, designing soft hands to be both compliant and functional across diverse use cases remains challenging. Although co-design of hardware and control better couples morphology to behavior, the resulting search space is high-dimensional, and even simulation-based evaluation is computationally expensive. In this paper, we propose a Cross-Entropy Method with Reward Model (CEM-RM) framework that efficiently optimizes tendon-driven soft robotic hands based on teleoperation control policy, reducing design evaluations by more than half compared to pure optimization while learning a distribution of optimized hand designs from pre-collected teleoperation data. We derive a design space for a soft robotic hand composed of flexural soft fingers and implement parallelized training in simulation. The optimized hands are then 3D-printed and deployed in the real world using both teleoperation data and real-time teleoperation. Experiments in both simulation and hardware demonstrate that our optimized design significantly outperforms baseline hands in grasping success rates across a diverse set of challenging objects.