Enhancing Food-Domain Question Answering with a Multimodal Knowledge Graph: Hybrid QA Generation and Diversity Analysis

📄 arXiv: 2507.06571v1 📥 PDF

作者: Srihari K B, Pushpak Bhattacharyya

分类: cs.CL

发布日期: 2025-07-09

💡 一句话要点

提出融合多模态知识图谱的食物领域问答框架，提升生成质量与多样性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 食物领域问答 多模态知识图谱 生成式AI 联合微调 检索生成 事实保真度 视觉保真度

📋 核心要点

  1. 现有食物领域问答系统缺乏对结构化知识的有效利用，且生成内容在事实性和视觉保真度方面存在挑战。
  2. 本文提出融合大规模多模态知识图谱（MMKG）与生成式AI，利用结构化知识提升问答质量和多样性。
  3. 实验表明，联合微调LLaMA和Stable Diffusion显著提升了BERTScore、FID和CLIP对齐度，并有效降低了不匹配率和幻觉。

📝 摘要（中文）

本文提出了一种统一的食物领域问答（QA）框架，该框架结合了大规模多模态知识图谱（MMKG）和生成式人工智能。该MMKG连接了13,000个食谱、3,000种食材、140,000个关系和14,000张图像。我们使用40个模板以及LLaVA/DeepSeek增强生成了40,000个QA对。对Meta LLaMA 3.1-8B和Stable Diffusion 3.5-Large进行联合微调，BERTScore提高了16.2%，FID降低了37.8%，CLIP对齐度提高了31.1%。诊断分析——基于CLIP的不匹配检测（从35.2%降至7.3%）和LLaVA驱动的幻觉检查——确保了事实和视觉的保真度。一种混合检索-生成策略实现了94.1%的准确图像重用率和85%的合成充分性。结果表明，结构化知识和多模态生成共同增强了食物问答的可靠性和多样性。

🔬 方法详解

问题定义：论文旨在解决食物领域问答任务中，现有方法对结构化知识利用不足，以及生成内容在事实性和视觉保真度方面存在的问题。现有方法通常依赖于单一模态信息，难以充分理解食物相关的复杂关系和视觉特征，导致问答质量不高，甚至出现错误或不相关的内容。

核心思路：论文的核心思路是将大规模多模态知识图谱（MMKG）与生成式AI相结合，利用MMKG提供结构化的知识信息，指导生成式模型生成更准确、更可靠的答案。通过联合微调语言模型和图像生成模型，实现多模态信息的有效融合，提升问答系统的整体性能。

技术框架：整体框架包含以下几个主要模块：1) 构建大规模多模态知识图谱（MMKG），包含食谱、食材、关系和图像等信息；2) 使用模板和LLaVA/DeepSeek等模型生成QA对，用于训练模型；3) 联合微调Meta LLaMA 3.1-8B和Stable Diffusion 3.5-Large，提升生成质量；4) 进行诊断分析，包括基于CLIP的不匹配检测和LLaVA驱动的幻觉检查，确保事实和视觉保真度；5) 采用混合检索-生成策略，结合知识图谱的检索能力和生成模型的生成能力。

关键创新：论文的关键创新在于将大规模多模态知识图谱与生成式AI相结合，提出了一种混合检索-生成策略，充分利用了结构化知识和生成模型的优势。此外，论文还提出了基于CLIP的不匹配检测和LLaVA驱动的幻觉检查方法，有效提升了生成内容的可靠性。

关键设计：论文的关键设计包括：1) MMKG的构建，需要考虑如何有效地表示食物相关的知识；2) QA对的生成，需要设计合适的模板和增强方法；3) 联合微调策略，需要选择合适的损失函数和优化器；4) 诊断分析方法，需要设计有效的指标来评估生成内容的质量。

🖼️ 关键图片

img_0
img_1

📊 实验亮点

实验结果表明，联合微调Meta LLaMA 3.1-8B和Stable Diffusion 3.5-Large后，BERTScore提高了16.2%，FID降低了37.8%，CLIP对齐度提高了31.1%。基于CLIP的不匹配检测将不匹配率从35.2%降低至7.3%。混合检索-生成策略实现了94.1%的准确图像重用率和85%的合成充分性。这些数据表明，该方法在提升食物领域问答系统的性能方面具有显著优势。

🎯 应用场景

该研究成果可应用于智能食谱推荐、膳食规划、食品安全问答等领域。通过提供更准确、更可靠的食物相关信息，帮助用户更好地了解食物的营养价值、烹饪方法和潜在风险，从而改善饮食习惯和生活质量。未来，该技术还可扩展到其他领域，如医疗健康、教育等。

📄 摘要（原文）

We propose a unified food-domain QA framework that combines a large-scale multimodal knowledge graph (MMKG) with generative AI. Our MMKG links 13,000 recipes, 3,000 ingredients, 140,000 relations, and 14,000 images. We generate 40,000 QA pairs using 40 templates and LLaVA/DeepSeek augmentation. Joint fine-tuning of Meta LLaMA 3.1-8B and Stable Diffusion 3.5-Large improves BERTScore by 16.2\%, reduces FID by 37.8\%, and boosts CLIP alignment by 31.1\%. Diagnostic analyses-CLIP-based mismatch detection (35.2\% to 7.3\%) and LLaVA-driven hallucination checks-ensure factual and visual fidelity. A hybrid retrieval-generation strategy achieves 94.1\% accurate image reuse and 85\% adequacy in synthesis. Our results demonstrate that structured knowledge and multimodal generation together enhance reliability and diversity in food QA.