ARChef: An iOS-Based Augmented Reality Cooking Assistant Powered by Multimodal Gemini LLM

📄 arXiv: 2412.00627v2 📥 PDF

作者: Rithik Vir, Parsa Madinei

分类: cs.HC, cs.AI

发布日期: 2024-12-01 (更新: 2024-12-09)

💡 一句话要点

ARChef：基于多模态Gemini LLM的iOS增强现实烹饪助手

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 增强现实 计算机视觉 大型语言模型 烹饪辅助 iOS应用

📋 核心要点

  1. 现有烹饪辅助方法依赖传统食谱或在线资源，存在食材遗漏、营养风险和用户体验不佳等问题。
  2. ARChef利用Gemini LLM识别食材并生成个性化食谱，结合ARKit构建直观的iOS增强现实烹饪界面。
  3. 通过用户体验调查评估应用有效性，旨在减少食物浪费，提升膳食计划体验，并提高烹饪辅助技术的可访问性。

📝 摘要（中文）

烹饪食物可能很困难，导致许多人求助于食谱和在线菜谱。然而，依赖这些传统的烹饪方法通常会导致缺少食材、营养危害和不令人满意的膳食。使用增强现实（AR）可以解决这些问题；然而，目前的AR烹饪应用程序用户界面较差，可访问性有限。本文提出了一个iOS应用程序的原型，该应用程序将AR和计算机视觉（CV）集成到烹饪过程中。我们利用谷歌的Gemini大型语言模型（LLM）来识别相机视野中的食材，并生成具有详细营养信息的食谱选择。此外，该应用程序使用苹果的ARKit来创建一个与iOS设备兼容的AR用户界面。用户可以通过输入他们的饮食偏好和评价每道菜来个性化他们的膳食建议。该应用程序的有效性通过三轮用户体验调查进行评估。该应用程序推进了可访问的烹饪辅助技术领域，旨在减少食物浪费并改善膳食计划体验。

🔬 方法详解

问题定义：现有烹饪辅助应用的用户界面不友好，功能有限，难以满足用户个性化的烹饪需求。传统方法容易导致食材遗漏、营养信息缺失，最终影响膳食质量。因此，需要一种更智能、更便捷的烹饪辅助系统。

核心思路：利用计算机视觉技术识别食材，结合大型语言模型生成个性化食谱，并通过增强现实技术将信息直观地呈现给用户。核心在于将多模态信息融合，提供更全面的烹饪指导。

技术框架：ARChef应用主要包含三个模块：1) 计算机视觉模块，使用Gemini LLM识别摄像头捕捉到的食材；2) 食谱生成模块，基于识别的食材和用户偏好，生成包含营养信息的个性化食谱；3) 增强现实界面模块，使用ARKit将食谱信息叠加到现实场景中，提供实时烹饪指导。

关键创新：该应用的关键创新在于将Gemini LLM应用于食材识别和食谱生成，并结合AR技术实现交互式烹饪指导。与传统AR烹饪应用相比，ARChef能够更智能地理解用户需求，提供更个性化的服务。

关键设计：Gemini LLM用于食材识别时，需要针对烹饪场景进行微调，以提高识别准确率。食谱生成模块需要考虑食材搭配、营养均衡等因素，并允许用户自定义饮食偏好。AR界面设计需要简洁直观，避免干扰用户烹饪操作。具体参数设置和损失函数等细节未知。

📊 实验亮点

论文通过三轮用户体验调查评估了ARChef的应用效果。具体性能数据未知，但用户反馈表明该应用能够有效提升烹饪体验，减少食材浪费，并提供个性化的膳食建议。与传统烹饪方法相比，ARChef在用户满意度和烹饪效率方面均有提升。

🎯 应用场景

ARChef具有广泛的应用前景，可用于家庭烹饪、餐饮服务、食品零售等领域。它可以帮助用户更轻松地制作健康美味的食物，减少食物浪费，并提高烹饪效率。未来，该技术可以扩展到其他烹饪场景，例如专业厨房和烹饪教学。

📄 摘要（原文）

Cooking meals can be difficult, causing many to resort to cookbooks and online recipes. However, relying on these traditional methods of cooking often results in missing ingredients, nutritional hazards, and unsatisfactory meals. Using Augmented Reality (AR) can address these issues; however, current AR cooking applications have poor user interfaces and limited accessibility. This paper proposes a prototype of an iOS application that integrates AR and Computer Vision (CV) into the cooking process. We leverage Google's Gemini Large Language Model (LLM) to identify ingredients in the camera's field of vision and generate recipe choices with detailed nutritional information. Additionally, this application uses Apple's ARKit to create an AR user interface compatible with iOS devices. Users can personalize their meal suggestions by inputting their dietary preferences and rating each meal. The application's effectiveness is evaluated through three rounds of user experience surveys. This application advances the field of accessible cooking assistance technologies, aiming to reduce food wastage and improve the meal planning experience.