Function based sim-to-real learning for shape control of deformable free-form surfaces
作者: Yingjun Tian, Guoxin Fang, Renbo Su, Weiming Wang, Simeon Gill, Andrew Weightman, Charlie C. L. Wang
分类: cs.RO
发布日期: 2024-05-14
💡 一句话要点
提出基于形变函数的Sim-to-Real学习方法，用于可变形自由曲面的形状控制。
🎯 匹配领域: 支柱一：机器人控制 (Robot Control)
关键词: Sim-to-Real 形变函数 可变形曲面 形状控制 逆运动学
📋 核心要点
- 现有方法依赖于精确的仿真模型和密集的标记点，难以应对真实物理系统中的误差和数据缺失。
- 论文提出基于形变函数的Sim-to-Real学习，将仿真模型的形状映射到物理模型的形状，解决仿真与现实的差异。
- 该方法适用于稀疏标记点和存在数据缺失的情况，并成功应用于气动驱动可变形人体模型的形状控制。
📝 摘要（中文）
针对可变形自由曲面的形状控制，仿真在建立驱动参数与变形形状之间的映射关系中起着至关重要的作用。通常利用该正向运动学映射的微分来解决逆运动学问题，以确定实现目标形状的驱动参数。然而，由于硬件引入的误差和物理仿真的简化，从仿真器获得的自由曲面总是与物理变形的形状不同。为了弥合这一差距，我们提出了一种新颖的基于形变函数的Sim-to-Real学习方法，可以将模拟模型的几何形状映射到其对应的物理模型形状。与依赖于完全获取的密集标记的现有Sim-to-Real学习方法不同，我们的方法适用于稀疏分布的标记，并且可以弹性地使用所有捕获的帧——即使在存在缺失标记的情况下也是如此。为了证明其有效性，我们的Sim-to-Real方法已集成到基于神经网络的计算流程中，该流程旨在解决气动驱动可变形人体模型的逆运动学问题。
🔬 方法详解
问题定义：论文旨在解决可变形自由曲面形状控制中，由于仿真模型与真实物理模型之间的差异，导致仿真结果无法直接应用于实际控制的问题。现有方法通常依赖于高精度的仿真模型和密集的标记点，但在实际应用中，硬件误差、仿真简化以及数据缺失等问题使得这些方法难以奏效。
核心思路：论文的核心思路是学习一个形变函数，将仿真模型的几何形状映射到对应的物理模型形状。通过学习这种映射关系，可以弥合仿真与现实之间的差距，从而利用仿真结果指导实际的形状控制。这种方法避免了对高精度仿真模型的依赖，并且能够容忍一定程度的数据缺失。
技术框架：该方法构建了一个基于神经网络的计算流程，用于解决气动驱动可变形人体模型的逆运动学问题。整体流程包括：1) 使用仿真模型生成大量训练数据，包括驱动参数和对应的仿真形状；2) 使用物理模型采集少量真实数据，包括驱动参数和对应的真实形状；3) 利用Sim-to-Real学习方法，学习一个形变函数，将仿真形状映射到真实形状；4) 使用训练好的神经网络，根据目标形状计算驱动参数。
关键创新：该方法最重要的创新点在于提出了基于形变函数的Sim-to-Real学习方法，该方法能够有效地弥合仿真与现实之间的差距，并且适用于稀疏标记点和存在数据缺失的情况。与现有方法相比，该方法不需要高精度的仿真模型和密集的标记点，因此具有更强的鲁棒性和实用性。
关键设计：论文中，形变函数可以使用多种神经网络结构来实现，例如多层感知机（MLP）或卷积神经网络（CNN）。损失函数的设计需要考虑仿真形状和真实形状之间的差异，可以使用均方误差（MSE）或Hausdorff距离等度量。为了提高模型的泛化能力，可以使用数据增强技术，例如随机旋转、平移和缩放等。
🖼️ 关键图片
📊 实验亮点
论文将提出的Sim-to-Real方法集成到基于神经网络的计算流程中，成功解决了气动驱动可变形人体模型的逆运动学问题。实验结果表明，该方法能够有效地将仿真形状映射到真实形状，并且在存在稀疏标记点和数据缺失的情况下仍然具有良好的性能。具体的性能数据和对比基线在论文中进行了详细的展示。
🎯 应用场景
该研究成果可广泛应用于可变形物体的形状控制领域，例如柔性机器人的运动规划、医疗手术模拟、服装设计等。通过Sim-to-Real学习，可以降低对精确物理模型的依赖，提高控制系统的鲁棒性和适应性，从而实现更精确、更可靠的形状控制。
📄 摘要（原文）
For the shape control of deformable free-form surfaces, simulation plays a crucial role in establishing the mapping between the actuation parameters and the deformed shapes. The differentiation of this forward kinematic mapping is usually employed to solve the inverse kinematic problem for determining the actuation parameters that can realize a target shape. However, the free-form surfaces obtained from simulators are always different from the physically deformed shapes due to the errors introduced by hardware and the simplification adopted in physical simulation. To fill the gap, we propose a novel deformation function based sim-to-real learning method that can map the geometric shape of a simulated model into its corresponding shape of the physical model. Unlike the existing sim-to-real learning methods that rely on completely acquired dense markers, our method accommodates sparsely distributed markers and can resiliently use all captured frames -- even for those in the presence of missing markers. To demonstrate its effectiveness, our sim-to-real method has been integrated into a neural network-based computational pipeline designed to tackle the inverse kinematic problem on a pneumatically actuated deformable mannequin.