SFOOD: A Multimodal Benchmark for Comprehensive Food Attribute Analysis Beyond RGB with Spectral Insights

📄 arXiv: 2507.04412v1 📥 PDF

作者: Zhenbo Xu, Jinghan Yang, Gong Huang, Jiqing Feng, Liu Liu, Ruihan Sun, Ajin Meng, Zhuo Zhang, Zhaofeng He

分类: cs.CV

发布日期: 2025-07-06

💡 一句话要点

SFOOD：构建大规模多模态食品属性分析基准，融合光谱信息超越RGB局限

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 食品属性分析 多模态学习 高光谱图像 基准数据集 深度学习

📋 核心要点

  1. 现有食品研究主要集中在类别识别，缺乏大规模、综合性的多模态食品属性分析基准数据集。
  2. SFOOD基准通过整合现有数据集并采集高光谱图像，结合仪器测量，提供更全面的食品属性信息。
  3. 实验表明，大型模型在食品数字化方面仍有挑战，而光谱数据对于分析食品特性至关重要。

📝 摘要（中文）

随着计算机视觉和大型语言模型的发展，智能化应用日益普及。然而，对于食品的众多属性（如产地、数量、重量、质量、甜度等）的研究，现有工作主要集中在类别识别上。这主要是由于缺乏大规模、全面的食品基准数据集。此外，许多食品属性（如甜度、重量和细粒度类别）仅通过RGB相机难以准确感知。为了填补这一空白，并促进智能食品分析的发展，本文构建了首个大规模光谱食品（SFOOD）基准套件。我们投入了大量人力和设备成本，组织了现有的食品数据集，并收集了数百种食品的高光谱图像，同时使用仪器实验性地确定了食品的甜度和重量等属性。该基准包含3266个食品类别和2351k个数据点，涵盖17个主要食品类别。广泛的评估表明：（i）大型模型在数字化食品方面仍然表现不佳。与人和汽车相比，食品已逐渐成为最难研究的对象之一；（ii）光谱数据对于分析食品特性（如甜度）至关重要。我们的基准将开源并持续迭代，以支持不同的食品分析任务。

🔬 方法详解

问题定义：现有方法主要依赖RGB图像进行食品分析，难以准确感知甜度、重量等细粒度属性，且缺乏大规模、综合性的多模态数据集支持更深入的研究。因此，需要构建一个包含多种模态信息（特别是光谱信息）的食品数据集，以促进更全面的食品属性分析。

核心思路：核心思路是构建一个大规模、多模态的食品数据集，该数据集不仅包含RGB图像，还包含高光谱图像以及通过仪器测量得到的食品属性（如甜度、重量）。通过引入光谱信息，可以弥补RGB图像在感知某些食品属性方面的不足，从而提高食品分析的准确性。

技术框架：SFOOD基准的构建主要包括以下几个阶段：1) 数据收集与整理：整合现有的食品数据集，并收集数百种食品的高光谱图像。2) 属性标注：使用仪器实验性地确定食品的甜度和重量等属性。3) 数据集构建：将收集到的数据进行整理和标注，构建成一个包含3266个食品类别和2351k个数据点的大规模数据集。4) 基准评估：使用大型模型对数据集进行评估，并分析光谱数据在食品属性分析中的作用。

关键创新：该论文的关键创新在于构建了首个大规模光谱食品（SFOOD）基准套件，该基准不仅包含RGB图像，还包含高光谱图像以及通过仪器测量得到的食品属性。通过引入光谱信息，可以更准确地分析食品的特性，例如甜度。

关键设计：SFOOD基准的关键设计包括：1) 数据集的多样性：包含3266个食品类别和2351k个数据点，涵盖17个主要食品类别。2) 模态的丰富性：不仅包含RGB图像，还包含高光谱图像。3) 属性的准确性：使用仪器实验性地确定食品的甜度和重量等属性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，现有的大型模型在数字化食品方面仍然表现不佳，这表明食品分析仍然是一个具有挑战性的研究领域。同时，实验也验证了光谱数据对于分析食品特性（如甜度）的重要性。该基准的开源将为后续研究提供有力支持。

🎯 应用场景

该研究成果可应用于智能餐饮、食品质量检测、食品溯源等领域。例如，可以利用该基准训练模型，实现对食品甜度、重量等属性的自动评估，从而提高餐饮服务的智能化水平。此外，该基准还可以用于开发食品质量检测系统，帮助消费者选择更优质的食品。未来，该研究有望推动食品科学与人工智能的交叉融合，促进食品产业的智能化升级。

📄 摘要（原文）

With the rise and development of computer vision and LLMs, intelligence is everywhere, especially for people and cars. However, for tremendous food attributes (such as origin, quantity, weight, quality, sweetness, etc.), existing research still mainly focuses on the study of categories. The reason is the lack of a large and comprehensive benchmark for food. Besides, many food attributes (such as sweetness, weight, and fine-grained categories) are challenging to accurately percept solely through RGB cameras. To fulfill this gap and promote the development of intelligent food analysis, in this paper, we built the first large-scale spectral food (SFOOD) benchmark suite. We spent a lot of manpower and equipment costs to organize existing food datasets and collect hyperspectral images of hundreds of foods, and we used instruments to experimentally determine food attributes such as sweetness and weight. The resulting benchmark consists of 3,266 food categories and 2,351 k data points for 17 main food categories. Extensive evaluations find that: (i) Large-scale models are still poor at digitizing food. Compared to people and cars, food has gradually become one of the most difficult objects to study; (ii) Spectrum data are crucial for analyzing food properties (such as sweetness). Our benchmark will be open source and continuously iterated for different food analysis tasks.