A Highly Clean Recipe Dataset with Ingredient States Annotation for State Probing Task
作者: Mashiro Toyooka, Kiyoharu Aizawa, Yoko Yamakata
分类: cs.MM, cs.AI, cs.CL
发布日期: 2025-07-23 (更新: 2025-08-28)
备注: Accepted to ACM Multimedia 2025. The dataset are publicly available at: https://huggingface.co/datasets/mashi6n/nhkrecipe-100-anno-1
🔗 代码/项目: HUGGINGFACE
💡 一句话要点
提出含食材状态标注的食谱数据集，用于评估LLM对烹饪过程的理解
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 食谱理解 食材状态 状态探测 数据集构建
📋 核心要点
- 现有LLM在理解烹饪食谱时，由于缺乏对食材中间状态的认知，导致理解不准确。
- 论文提出一种新的状态探测任务，并构建包含食材状态标注的日语食谱数据集。
- 实验表明，通过学习食材状态知识，LLM对烹饪过程的理解能力得到显著提升。
📝 摘要（中文）
大型语言模型（LLM）在大量的程序文本上进行训练，但它们无法直接观察现实世界的现象。在烹饪食谱的背景下，这是一个挑战，因为食材的中间状态经常被省略，使得模型难以跟踪食材状态并准确理解食谱。本文将状态探测（一种评估语言模型对世界理解的方法）应用于烹饪领域。我们提出了一个新的任务和数据集，用于评估LLM在烹饪过程中识别食材中间状态的能力。我们首先构建了一个新的日语食谱数据集，其中包含清晰准确的食材状态变化标注，这些标注是从结构良好且受控的食谱文本中收集的。使用该数据集，我们设计了三个新颖的任务来评估LLM是否可以跟踪食材状态的转变并识别中间步骤中存在的食材。我们使用广泛使用的LLM（如Llama3.1-70B和Qwen2.5-72B）进行的实验表明，学习食材状态知识可以提高它们对烹饪过程的理解，达到与商业LLM相当的性能。该数据集可在https://huggingface.co/datasets/mashi6n/nhkrecipe-100-anno-1公开获取。
🔬 方法详解
问题定义：现有的大型语言模型（LLM）虽然在大量文本数据上训练，但缺乏对现实世界物理过程的直接观察能力。在烹饪领域，食谱通常省略食材的中间状态，例如食材在不同烹饪阶段的质地、颜色等变化。这使得LLM难以准确理解食谱，无法有效跟踪食材状态的转变。因此，如何评估和提升LLM对烹饪过程中食材状态的理解能力是一个关键问题。
核心思路：论文的核心思路是通过构建一个包含详细食材状态标注的食谱数据集，并设计相应的状态探测任务，来评估和提升LLM对烹饪过程的理解能力。通过让LLM学习食材在不同烹饪阶段的状态变化，可以使其更好地理解食谱的逻辑和步骤。这种方法类似于人类通过观察和实践来学习烹饪，旨在弥合LLM在文本理解和现实世界知识之间的差距。
技术框架：该研究的技术框架主要包括以下几个部分：1) 数据集构建：收集日语食谱文本，并对食材的状态变化进行清晰准确的标注。2) 任务设计：设计三个新颖的任务，用于评估LLM跟踪食材状态转变和识别中间步骤中食材的能力。这些任务可能包括状态预测、状态识别和状态推理等。3) 模型评估：使用广泛使用的LLM（如Llama3.1-70B和Qwen2.5-72B）在构建的数据集上进行实验，评估其在不同任务上的性能。4) 知识注入：通过学习食材状态知识，提升LLM对烹饪过程的理解能力。
关键创新：该论文的关键创新点在于：1) 构建了一个高质量的、包含食材状态标注的食谱数据集，为评估和提升LLM对烹饪过程的理解能力提供了基础。2) 设计了新颖的状态探测任务，能够有效评估LLM跟踪食材状态转变和识别中间步骤中食材的能力。3) 验证了通过学习食材状态知识可以显著提升LLM对烹饪过程的理解能力，使其性能达到与商业LLM相当的水平。与现有方法相比，该研究更关注食材状态的显式建模，从而更有效地提升了LLM的理解能力。
关键设计：关于关键设计，论文中没有详细描述参数设置、损失函数、网络结构等技术细节。但是，可以推测，在数据集构建方面，需要仔细设计标注规范，确保标注的准确性和一致性。在任务设计方面，需要根据食材状态的特点，设计合适的评估指标。在模型训练方面，可能需要使用特定的损失函数来鼓励模型学习食材状态的知识。具体的技术细节需要参考论文的补充材料或代码。
🖼️ 关键图片
📊 实验亮点
实验结果表明，通过学习食材状态知识，LLM（如Llama3.1-70B和Qwen2.5-72B）对烹饪过程的理解能力得到显著提升，达到与商业LLM相当的性能。这表明，显式地建模食材状态对于提升LLM在烹饪领域的理解能力是有效的。具体的性能数据和提升幅度需要在论文中查找。
🎯 应用场景
该研究成果可应用于智能烹饪助手、食谱生成、食品安全检测等领域。例如，智能烹饪助手可以根据食材状态的变化，为用户提供更精准的烹饪指导。食谱生成系统可以生成更符合逻辑和实际情况的食谱。食品安全检测系统可以根据食材状态的变化，判断食材是否新鲜或变质。未来，该研究还可以扩展到其他领域，例如智能制造、医疗诊断等，提升LLM在各个领域的应用能力。
📄 摘要（原文）
Large Language Models (LLMs) are trained on a vast amount of procedural texts, but they do not directly observe real-world phenomena. In the context of cooking recipes, this poses a challenge, as intermediate states of ingredients are often omitted, making it difficult for models to track ingredient states and understand recipes accurately. In this paper, we apply state probing, a method for evaluating a language model's understanding of the world, to the domain of cooking. We propose a new task and dataset for evaluating how well LLMs can recognize intermediate ingredient states during cooking procedures. We first construct a new Japanese recipe dataset with clear and accurate annotations of ingredient state changes, collected from well-structured and controlled recipe texts. Using this dataset, we design three novel tasks to evaluate whether LLMs can track ingredient state transitions and identify ingredients present at intermediate steps. Our experiments with widely used LLMs, such as Llama3.1-70B and Qwen2.5-72B, show that learning ingredient state knowledge improves their understanding of cooking processes, achieving performance comparable to commercial LLMs. The dataset are publicly available at: https://huggingface.co/datasets/mashi6n/nhkrecipe-100-anno-1