Real-World Cooking Robot System from Recipes Based on Food State Recognition Using Foundation Models and PDDL

📄 arXiv: 2410.02874v2 📥 PDF

作者: Naoaki Kanazawa, Kento Kawaharazuka, Yoshiki Obinata, Kei Okada, Masayuki Inaba

分类: cs.RO, cs.AI

发布日期: 2024-10-03 (更新: 2024-10-07)

备注: Accepted at Advanced Robotics, website - https://kanazawanaoaki.github.io/cook-from-recipe-pddl/

DOI: 10.1080/01691864.2024.2407136

💡 一句话要点

提出基于基础模型和PDDL的烹饪机器人系统，实现从菜谱到真实世界烹饪行为的转换

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 机器人烹饪 大型语言模型 视觉-语言模型 行为规划 食材状态识别

📋 核心要点

  1. 机器人烹饪行为需求日益增长，但机器人根据新菜谱在现实世界中执行完整烹饪流程仍面临挑战。
  2. 该研究融合LLM和PDDL进行行为规划，并利用VLM进行少量数据下的食材状态识别，实现机器人烹饪。
  3. 实验结果表明，所提出的系统能够使PR2机器人在真实环境中成功执行基于新菜谱的烹饪任务。

📝 摘要（中文）

本文提出了一种机器人系统，该系统集成了使用大型语言模型（LLM）和PDDL描述的经典规划的真实世界可执行机器人烹饪行为规划，以及使用视觉-语言模型（VLM）从少量数据中学习的食物成分状态识别。实验成功地让双臂轮式机器人PR2在真实环境中根据安排的新菜谱执行烹饪，验证了所提出系统的有效性。

🔬 方法详解

问题定义：现有机器人烹饪系统难以根据新的菜谱描述，在真实世界环境中执行完整的烹饪流程。主要痛点在于如何将菜谱中的高级语义信息转化为机器人可执行的底层动作，以及如何准确识别烹饪过程中食材的状态变化。

核心思路：利用大型语言模型（LLM）理解菜谱中的语义信息，并将其转化为规划领域定义语言（PDDL）描述，然后使用经典规划器生成机器人可执行的动作序列。同时，利用视觉-语言模型（VLM）进行食材状态识别，从而使机器人能够感知环境变化并做出相应调整。

技术框架：该系统主要包含三个模块：菜谱理解与规划模块、食材状态识别模块和机器人控制模块。菜谱理解与规划模块使用LLM将菜谱转化为PDDL描述，然后使用规划器生成动作序列。食材状态识别模块使用VLM识别食材的状态。机器人控制模块根据动作序列控制机器人执行相应的动作。

关键创新：该研究的关键创新在于将LLM和VLM应用于机器人烹饪领域，实现了从菜谱到真实世界烹饪行为的转换。通过LLM进行菜谱理解和行为规划，降低了人工设计机器人行为的难度。通过VLM进行食材状态识别，提高了机器人对环境变化的适应能力。

关键设计：LLM的选择和prompt工程对菜谱理解的准确性至关重要。VLM需要针对烹饪场景进行微调，以提高食材状态识别的精度。PDDL描述需要详细定义机器人的动作和环境状态，以便规划器生成有效的动作序列。具体的参数设置、损失函数、网络结构等技术细节在论文中未详细说明，属于未知信息。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，该系统能够使PR2机器人在真实环境中成功执行基于新菜谱的烹饪任务。具体性能数据和对比基线在摘要中未提及，属于未知信息。但实验验证了所提出系统的有效性，表明该系统具有实际应用潜力。

🎯 应用场景

该研究成果可应用于智能厨房、餐饮自动化、老年人辅助等领域。通过该系统，机器人可以根据菜谱自动完成烹饪任务，减轻人们的烹饪负担。此外，该系统还可以用于开发个性化烹饪服务，根据用户的口味和健康需求定制菜谱。

📄 摘要（原文）

Although there is a growing demand for cooking behaviours as one of the expected tasks for robots, a series of cooking behaviours based on new recipe descriptions by robots in the real world has not yet been realised. In this study, we propose a robot system that integrates real-world executable robot cooking behaviour planning using the Large Language Model (LLM) and classical planning of PDDL descriptions, and food ingredient state recognition learning from a small number of data using the Vision-Language model (VLM). We succeeded in experiments in which PR2, a dual-armed wheeled robot, performed cooking from arranged new recipes in a real-world environment, and confirmed the effectiveness of the proposed system.