FoodMLLM-JP: Leveraging Multimodal Large Language Models for Japanese Recipe Generation

📄 arXiv: 2409.18459v2 📥 PDF

作者: Yuki Imajuku, Yoko Yamakata, Kiyoharu Aizawa

分类: cs.CV, cs.MM

发布日期: 2024-09-27 (更新: 2025-03-03)

备注: 15 pages, 5 figures. We found errors in the calculation of evaluation metrics, which were corrected in this version with $\color{blue}{\text{modifications highlighted in blue}}$. Please also see the Appendix

DOI: 10.1007/978-981-96-2054-8_30

💡 一句话要点

FoodMLLM-JP：利用多模态大语言模型生成日式食谱

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态大语言模型 食谱生成 日语食谱 食物图像理解 微调 LLaVA-1.5 Phi-3 Vision

📋 核心要点

  1. 现有食物图像理解方法难以有效处理食谱数据复杂性和多样性，限制了实际应用。
  2. 通过微调开源多模态大语言模型，使其能够理解和生成日式食谱，提升性能。
  3. 实验表明，微调后的模型在食材生成方面超越GPT-4o，烹饪步骤生成方面与之相当。

📝 摘要（中文）

由于数据的多样性和复杂性，使用食谱数据进行食物图像理解的研究一直备受关注。此外，食物与人们的生活息息相关，使其成为膳食管理等实际应用的重要研究领域。多模态大语言模型（MLLM）的最新进展展示了卓越的能力，不仅体现在其广阔的知识储备，还体现在其自然处理语言的能力。虽然英语是主要语言，但它们也支持包括日语在内的多种语言。这意味着MLLM有望显著提高食物图像理解任务的性能。我们在日语食谱数据集上微调了开源MLLM LLaVA-1.5和Phi-3 Vision，并以GPT-4o为基准测试了它们的性能。然后，我们使用5000个全面涵盖日本饮食文化的评估样本，评估了生成的食谱的内容，包括成分和烹饪步骤。评估表明，在食谱数据上训练的开源模型在成分生成方面优于当前最先进的模型GPT-4o。我们的模型实现了0.531的F1分数，超过了GPT-4o的0.481的F1分数，表明具有更高的准确性。此外，我们的模型在生成烹饪步骤文本方面表现出与GPT-4o相当的性能。

🔬 方法详解

问题定义：论文旨在解决利用多模态大语言模型自动生成高质量日式食谱的问题。现有方法在处理日语食谱数据时，面临数据稀缺、语言文化差异等挑战，导致生成食谱的准确性和实用性不足。

核心思路：论文的核心思路是利用开源多模态大语言模型（MLLM）的强大能力，通过在特定日语食谱数据集上进行微调，使其更好地理解和生成符合日本饮食习惯的食谱。这种方法旨在克服通用MLLM在特定领域知识上的不足。

技术框架：整体框架包括数据准备、模型选择与微调、以及评估三个主要阶段。首先，收集并清洗日语食谱数据集。然后，选择开源MLLM（如LLaVA-1.5和Phi-3 Vision）作为基础模型，并在准备好的数据集上进行微调。最后，使用一系列指标（如F1分数）评估生成食谱的质量。

关键创新：关键创新在于针对日语食谱数据对开源MLLM进行微调，使其能够更好地理解和生成符合日本饮食文化的食谱。这与直接使用通用MLLM生成食谱的方法不同，后者可能无法充分理解特定领域的知识和文化背景。

关键设计：论文的关键设计包括选择合适的开源MLLM架构（LLaVA-1.5和Phi-3 Vision），以及设计有效的微调策略。具体的参数设置和损失函数等技术细节在论文中可能没有详细描述，属于未知信息。数据集的选择和清洗也是关键环节，确保数据的质量和多样性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，经过微调的FoodMLLM-JP模型在食材生成方面优于GPT-4o，F1分数达到0.531，而GPT-4o为0.481。在烹饪步骤生成方面，FoodMLLM-JP模型也取得了与GPT-4o相当的性能。这些结果验证了该方法在生成高质量日式食谱方面的有效性。

🎯 应用场景

该研究成果可应用于智能烹饪助手、个性化膳食推荐、饮食健康管理等领域。通过自动生成食谱，可以帮助用户更方便地获取烹饪灵感，改善饮食习惯，并促进日本饮食文化的传播。未来，该技术有望扩展到其他菜系和语言，实现全球范围内的智能食谱生成。

📄 摘要（原文）

Research on food image understanding using recipe data has been a long-standing focus due to the diversity and complexity of the data. Moreover, food is inextricably linked to people's lives, making it a vital research area for practical applications such as dietary management. Recent advancements in Multimodal Large Language Models (MLLMs) have demonstrated remarkable capabilities, not only in their vast knowledge but also in their ability to handle languages naturally. While English is predominantly used, they can also support multiple languages including Japanese. This suggests that MLLMs are expected to significantly improve performance in food image understanding tasks. We fine-tuned open MLLMs LLaVA-1.5 and Phi-3 Vision on a Japanese recipe dataset and benchmarked their performance against the closed model GPT-4o. We then evaluated the content of generated recipes, including ingredients and cooking procedures, using 5,000 evaluation samples that comprehensively cover Japanese food culture. Our evaluation demonstrates that the open models trained on recipe data outperform GPT-4o, the current state-of-the-art model, in ingredient generation. Our model achieved F1 score of 0.531, surpassing GPT-4o's F1 score of 0.481, indicating a higher level of accuracy. Furthermore, our model exhibited comparable performance to GPT-4o in generating cooking procedure text.