REPeat: A Real2Sim2Real Approach for Pre-acquisition of Soft Food Items in Robot-assisted Feeding

📄 arXiv: 2410.10017v1 📥 PDF

作者: Nayoung Ha, Ruolin Ye, Ziang Liu, Shubhangi Sinha, Tapomayukh Bhattacharjee

分类: cs.RO, cs.CV, cs.GR

发布日期: 2024-10-13

💡 一句话要点

REPeat：一种Real2Sim2Real方法，用于机器人辅助喂食中软食物的预获取

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: 机器人辅助喂食 软食物操作 Real2Sim2Real 预获取动作 仿真优化

📋 核心要点

  1. 现有机器人辅助喂食在处理软食物时，直接咬取成功率低，面临食物形状不规则和易变形的挑战。
  2. REPeat框架通过Real2Sim2Real流程，在仿真环境中探索预获取动作，优化咬取策略，提升整体成功率。
  3. 实验结果表明，该系统在多种软食物场景下，咬取成功率平均提升27%，验证了方法的有效性。

📝 摘要（中文）

本文提出了一种名为REPeat的Real2Sim2Real框架，旨在提高机器人辅助喂食中软食物的咬取成功率。该框架利用“预获取动作”，如推、切和翻转，来改善咬取动作（如叉取、舀取和旋转）的成功率。如果数据驱动模型预测直接咬取的成功率较低，系统将启动Real2Sim阶段，在仿真中重建食物的几何形状。机器人在仿真中探索各种预获取动作，然后Sim2Real步骤渲染逼真的图像以重新评估成功率。如果成功率提高，机器人将在现实中应用该动作。我们在15个不同的盘子上，使用10种软食物饮食进行评估，结果表明，所有盘子的咬取成功率平均提高了27%。项目网站：https://emprise.cs.cornell.edu/repeat。

🔬 方法详解

问题定义：机器人辅助喂食中，软食物由于其形状不规则和易变形的特性，使得直接进行咬取（如叉取、舀取）的成功率较低。现有的方法往往难以适应这些变化，导致喂食效率和可靠性不高。因此，如何提高机器人对软食物的咬取成功率是一个关键问题。

核心思路：REPeat的核心思路是利用预获取动作（如推、切、翻转）来改变食物的形状或姿态，从而更容易进行后续的咬取动作。通过Real2Sim2Real的流程，在仿真环境中探索和优化这些预获取动作，然后将优化后的策略应用到真实环境中。

技术框架：REPeat框架主要包含以下几个阶段：1) 初始评估：使用数据驱动模型预测直接咬取的成功率。2) Real2Sim：如果成功率较低，则在仿真环境中重建食物的几何形状。3) 仿真探索：在仿真环境中探索各种预获取动作，并评估其对后续咬取成功率的影响。4) Sim2Real：将仿真环境中表现良好的预获取动作渲染成逼真的图像，并重新评估咬取成功率。5) 动作执行：如果Sim2Real评估显示成功率提高，则在真实环境中执行该预获取动作，然后进行咬取。

关键创新：该方法最重要的创新点在于利用Real2Sim2Real的流程，将仿真环境作为探索和优化预获取动作的平台。通过在仿真环境中进行大量的实验，可以有效地找到最佳的预获取策略，而无需在真实环境中进行大量的试错。与直接在真实环境中学习相比，这种方法更加高效和安全。

关键设计：在Real2Sim阶段，需要精确地重建食物的几何形状。在仿真探索阶段，需要设计有效的奖励函数来评估预获取动作的优劣。在Sim2Real阶段，需要使用逼真的渲染技术来保证仿真环境和真实环境的一致性。此外，数据驱动模型需要足够准确，才能有效地预测初始咬取的成功率。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，REPeat框架在15个不同的盘子上，使用10种软食物进行测试，咬取成功率平均提高了27%。这表明该方法能够有效地提高机器人辅助喂食的性能，并且具有较强的泛化能力，可以适应不同的食物类型和盘子形状。该提升幅度显著，验证了Real2Sim2Real策略在解决软食物操作问题上的有效性。

🎯 应用场景

该研究成果可应用于各种机器人辅助喂食场景，尤其是在需要处理软食物的养老院、医院等场所。通过提高喂食的效率和可靠性，可以减轻护理人员的负担，并改善患者的生活质量。未来，该技术还可以扩展到其他需要操作柔性物体的机器人应用中，例如食品加工、医疗手术等。

📄 摘要（原文）

The paper presents REPeat, a Real2Sim2Real framework designed to enhance bite acquisition in robot-assisted feeding for soft foods. It uses `pre-acquisition actions' such as pushing, cutting, and flipping to improve the success rate of bite acquisition actions such as skewering, scooping, and twirling. If the data-driven model predicts low success for direct bite acquisition, the system initiates a Real2Sim phase, reconstructing the food's geometry in a simulation. The robot explores various pre-acquisition actions in the simulation, then a Sim2Real step renders a photorealistic image to reassess success rates. If the success improves, the robot applies the action in reality. We evaluate the system on 15 diverse plates with 10 types of food items for a soft food diet, showing improvement in bite acquisition success rates by 27\% on average across all plates. See our project website at https://emprise.cs.cornell.edu/repeat.