OVFoodSeg: Elevating Open-Vocabulary Food Image Segmentation via Image-Informed Textual Representation

📄 arXiv: 2404.01409v1 📥 PDF

作者: Xiongwei Wu, Sicheng Yu, Ee-Peng Lim, Chong-Wah Ngo

分类: cs.CV, cs.AI, cs.MM

发布日期: 2024-04-01

备注: CVPR 2024; 12 pages

💡 一句话要点

提出OVFoodSeg以解决开放词汇食品图像分割问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 食品图像分割 开放词汇 视觉-语言模型 图像信息增强 深度学习

📋 核心要点

  1. 现有方法在处理食品图像分割时，面临同类成分变异性大、新成分出现及高标注成本等挑战。
  2. 本文提出OVFoodSeg框架，采用开放词汇设置，并通过视觉上下文增强文本嵌入，以更好地处理食品成分。
  3. OVFoodSeg在FoodSeg103数据集上实现了4.9%的mIoU提升，显著改善了食品图像分割的性能。

📝 摘要（中文）

在食品计算领域，从图像中分割出成分面临诸多挑战，包括同类成分之间的高变异性、新成分的出现以及大规模食品分割数据集的高标注成本。现有方法主要采用封闭词汇和静态文本嵌入，难以有效处理新颖和多样的成分。为此，本文提出了OVFoodSeg框架，采用开放词汇设置，并通过视觉上下文增强文本嵌入。通过整合视觉-语言模型（VLMs），我们的方案通过两个创新模块（FoodLearner和图像信息文本编码器）丰富了文本嵌入。OVFoodSeg在FoodSeg103数据集上实现了4.9%的mIoU提升，树立了食品图像分割的新里程碑。

🔬 方法详解

问题定义：本文旨在解决食品图像分割中的开放词汇问题，现有方法在处理新颖和多样成分时表现不足，且依赖静态文本嵌入，难以适应变化。

核心思路：OVFoodSeg框架通过引入视觉-语言模型，结合图像特定信息来增强文本嵌入，采用开放词汇设置以提高对新成分的适应性。

技术框架：该框架分为两个阶段：首先是FoodLearner的预训练，旨在对齐视觉信息与食品相关的文本表示；其次是针对分割任务的学习阶段，适配FoodLearner和图像信息文本编码器。

关键创新：最重要的创新在于引入了图像信息文本编码器和FoodLearner模块，使得文本嵌入能够动态适应图像内容，与现有静态文本嵌入方法形成鲜明对比。

关键设计：在设计上，FoodLearner通过对图像和文本的对齐学习，提升了模型的语义理解能力；损失函数和网络结构经过精心设计，以确保在分割任务中的有效性和准确性。

📊 实验亮点

OVFoodSeg在FoodSeg103数据集上实现了4.9%的mIoU提升，显著优于现有的封闭词汇方法，展示了其在开放词汇食品图像分割中的有效性，为未来的研究提供了新的方向。

🎯 应用场景

该研究具有广泛的应用潜力，尤其在食品识别、营养分析和智能餐饮服务等领域。通过提高食品图像分割的准确性，OVFoodSeg能够为食品科技、健康管理和自动化餐饮系统提供更为精准的数据支持，推动相关技术的发展与应用。

📄 摘要（原文）

In the realm of food computing, segmenting ingredients from images poses substantial challenges due to the large intra-class variance among the same ingredients, the emergence of new ingredients, and the high annotation costs associated with large food segmentation datasets. Existing approaches primarily utilize a closed-vocabulary and static text embeddings setting. These methods often fall short in effectively handling the ingredients, particularly new and diverse ones. In response to these limitations, we introduce OVFoodSeg, a framework that adopts an open-vocabulary setting and enhances text embeddings with visual context. By integrating vision-language models (VLMs), our approach enriches text embedding with image-specific information through two innovative modules, eg, an image-to-text learner FoodLearner and an Image-Informed Text Encoder. The training process of OVFoodSeg is divided into two stages: the pre-training of FoodLearner and the subsequent learning phase for segmentation. The pre-training phase equips FoodLearner with the capability to align visual information with corresponding textual representations that are specifically related to food, while the second phase adapts both the FoodLearner and the Image-Informed Text Encoder for the segmentation task. By addressing the deficiencies of previous models, OVFoodSeg demonstrates a significant improvement, achieving an 4.9\% increase in mean Intersection over Union (mIoU) on the FoodSeg103 dataset, setting a new milestone for food image segmentation.