Open-KNEAD: Knowledge-grounded Nutrition Estimation via Agentic Decomposition

📄 arXiv: 2607.12911v1 📥 PDF

作者: Bruce Coburn, Jingbo Yue, Jinge Ma, Siddeshwar Raghavan, Gautham Vinod, Fengqing Zhu

分类: cs.CV

发布日期: 2026-07-14

备注: 10 pages main paper, 5 pages supplementary

💡 一句话要点

提出Open-KNEAD框架以解决饮食营养估计问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 饮食评估 营养估计 多模态学习 知识驱动 本地部署 隐私保护 可审计记录

📋 核心要点

  1. 现有的多模态大型语言模型在饮食评估中的检索增强方法已不再显著提升营养估计的准确性。
  2. 本文提出的Open-KNEAD框架通过知识驱动的方式，实现了无需训练的本地部署，简化了用户输入。
  3. 在多个开放的MLLM家族和三种不同菜系的实验中，Open-KNEAD在大多数设置下改善了份量估计，尤其在ACETADA数据集上表现突出。

📝 摘要（中文）

多模态大型语言模型（MLLMs）在通过餐食图像进行饮食评估中越来越受到重视，检索增强的基础已被证明可以提高营养估计的准确性。然而，当前的研究发现，现代MLLM的直接估计已能匹配或超越完整的检索流程。本文提出Open-KNEAD，一个知识驱动的代理框架，旨在以最小的用户负担、可审计的记录和隐私保护来进行餐食营养估计。Open-KNEAD通过选择性、营养感知的检索将每个分解的食物项与食品和营养数据库（FNDDS）代码关联，生成可审计的逐项记录。实验结果表明，Open-KNEAD在多个数据集上显著改善了份量估计，尤其在经过营养师验证的ACETADA数据集上，表现优于两种前沿封闭模型的直接估计。

🔬 方法详解

问题定义：本文旨在解决当前多模态大型语言模型在饮食营养估计中存在的检索增强方法效果减弱的问题。现有方法在准确估计份量和提供可追溯记录方面存在不足。

核心思路：Open-KNEAD框架通过知识驱动的方式，利用选择性、营养感知的检索将食物项与食品和营养数据库（FNDDS）代码关联，旨在减少用户负担并提高估计的可审计性。

技术框架：该框架包括几个主要模块：首先是对餐食图像的处理，其次是通过选择性检索获取食物项的营养信息，最后生成可审计的逐项记录。所有过程均在本地进行，确保用户隐私。

关键创新：Open-KNEAD的核心创新在于其训练自由和本地可部署的特性，能够在不依赖外部数据的情况下进行有效的营养估计。这与现有依赖于复杂检索流程的方法形成鲜明对比。

关键设计：在设计中，Open-KNEAD采用了特定的参数设置和损失函数，以优化食物项的选择性检索，并确保生成的记录具有高可审计性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在实验中，Open-KNEAD在经过营养师验证的ACETADA数据集上，局部开放代理的份量估计比两种前沿封闭模型的直接估计高出约30%和53%。这一结果表明，Open-KNEAD在保持用户隐私的同时，显著提升了饮食营养估计的准确性。

🎯 应用场景

Open-KNEAD框架的潜在应用领域包括临床营养评估、个人健康管理和饮食研究等。其训练自由和本地部署的特性使其在保护用户隐私的同时，能够为临床医生和营养师提供准确的饮食评估工具，具有重要的实际价值和未来影响。

📄 摘要（原文）

Multimodal Large Language Models (MLLMs) are increasingly used for dietary assessment from meal images, where retrieval-augmented grounding was shown to sharpen nutrition estimates. However, we find this premise no longer holds for current MLLMs. A modern MLLM's direct estimate now matches or surpasses the full retrieval pipeline. This raises a question: if retrieval no longer improves the overall estimate, can it still deliver the two things clinicians value, accurate portions and a traceable, item-by-item record? We pursue this while preserving what matters for clinical adoption: minimal user burden (a single, unannotated meal image), explainability (an auditable record), and privacy (locally hosted inference). We introduce Open-KNEAD, a knowledge-grounded agentic framework for meal nutrition estimation that is training-free and locally deployable. Each decomposed food item is grounded to a Food and Nutrient Database for Dietary Studies (FNDDS) code via selective, nutrient-aware retrieval, composing an auditable per-item record. Across two open MLLM families and three cuisines, Open-KNEAD improves portion estimates over both prior grounding methods and direct estimation in most backbone-dataset settings. An agent-internal recipe-prior step further recovers the invisible cooking-added energy that biases estimates on non-US cuisine. The advantage is largest on the dietitian-verified ACETADA dataset, where the local open agent surpasses the direct portion estimates of two frontier closed models by roughly $30\%$ and $53\%$, all while keeping every meal image on local hardware. We release the Open-KNEAD framework and its agent-ready FNDDS knowledge base.