Towards Unbiased Cross-Modal Representation Learning for Food Image-to-Recipe Retrieval

📄 arXiv: 2511.15201v1 📥 PDF

作者: Qing Wang, Chong-Wah Ngo, Ee-Peng Lim

分类: cs.CV, cs.MM

发布日期: 2025-11-19

💡 一句话要点

提出基于因果推断的解偏方法，提升食物图像-菜谱跨模态检索性能

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 跨模态检索 因果推断 表征学习 食物图像 菜谱检索 偏差消除 Recipe1M数据集

📋 核心要点

  1. 现有食物图像-菜谱检索方法将菜谱视为图像的文本描述，忽略了二者之间的因果关系，导致模型学习产生偏差。
  2. 论文利用因果推断理论，将食材视为混淆因素，通过后门调整来减轻偏差，从而消除相似性判断中的潜在偏差。
  3. 实验结果表明，该方法在Recipe1M数据集上取得了显著的性能提升，并提出了一个即插即用的神经模块用于去偏。

📝 摘要（中文）

本文旨在解决跨模态检索中菜谱和食物图像表征学习的挑战。现有方法将菜谱视为食物图像的文本描述，忽略了菜谱与食物之间的因果关系，导致表征学习产生偏差，误导图像-菜谱相似性判断。具体而言，由于烹饪过程、食物呈现和图像拍摄条件等因素，食物图像可能无法完全捕捉菜谱中的所有细节。当前的表征学习倾向于捕捉主要的视觉-文本对齐，而忽略了决定检索相关性的细微变化。本文利用因果理论对跨模态表征学习中的这种偏差进行建模，认为食材是混淆因素之一，并采用简单的后门调整来减轻偏差。通过因果干预，本文重新构建了传统的食物-菜谱检索模型，增加了一个额外的项来消除相似性判断中的潜在偏差。基于该理论驱动的公式，经验证实在Recipe1M数据集上，检索的oracle性能在1K、10K甚至50K的测试数据规模下均达到MedR=1。此外，本文还提出了一种即插即用的神经模块，本质上是一个用于去偏的多标签食材分类器。在Recipe1M数据集上报告了新的最先进的搜索性能。

🔬 方法详解

问题定义：论文旨在解决食物图像到菜谱检索任务中，由于菜谱和食物图像之间存在因果关系（菜谱是因，食物图像是果），而现有方法将其视为简单的文本描述，从而引入的偏差问题。这种偏差导致模型在学习表征时，过度关注图像中显著的视觉特征，而忽略了菜谱中细微但重要的信息，最终影响检索的准确性。

核心思路：论文的核心思路是利用因果推断理论来建模和消除这种偏差。具体来说，论文将食材视为菜谱和食物图像之间的混淆因素，因为食材既影响菜谱的描述，也影响食物图像的视觉呈现。通过因果干预，可以消除食材这个混淆因素对图像-菜谱相似性判断的影响，从而实现更准确的检索。

技术框架：论文提出的方法主要包含以下几个模块：1) 传统的图像和文本表征学习模块，用于提取图像和菜谱的特征；2) 一个多标签食材分类器，用于预测菜谱中包含的食材；3) 一个因果干预模块，利用食材分类器的输出，对图像和菜谱的表征进行调整，从而消除食材这个混淆因素的影响。整体流程是先提取图像和菜谱的特征，然后利用食材分类器预测食材，最后通过因果干预调整表征，用于相似度计算和检索。

关键创新：论文最重要的技术创新点在于将因果推断引入到跨模态检索任务中，并利用后门调整来消除偏差。与现有方法相比，该方法能够更准确地建模菜谱和食物图像之间的关系，并有效地消除偏差，从而提高检索的准确性。此外，提出的即插即用神经模块也方便集成到现有的模型中。

关键设计：论文的关键设计包括：1) 使用多标签分类器预测食材，并将其作为因果干预的依据；2) 使用后门调整公式，对图像和菜谱的表征进行调整，具体调整方式未知，论文中可能涉及特定的损失函数或网络结构设计来实施这种调整；3) 将该模块设计为即插即用，方便集成到现有的模型中。具体参数设置和网络结构细节在论文中可能有所描述，但摘要中未提及。

📊 实验亮点

实验结果表明，该方法在Recipe1M数据集上取得了显著的性能提升，在不同数据规模（1K、10K、50K）的测试集上均达到了MedR=1的oracle性能。此外，论文提出的即插即用神经模块也进一步提升了检索性能，达到了新的state-of-the-art水平。具体的性能提升幅度需要参考论文中的详细实验数据。

🎯 应用场景

该研究成果可应用于智能菜谱推荐系统、食品图像识别与分析、以及营养健康管理等领域。通过更准确地理解食物图像和菜谱之间的关系，可以为用户提供更个性化、更精准的菜谱推荐，帮助用户更好地进行膳食规划和健康管理。此外，该技术还可以应用于食品行业的自动化生产和质量控制，提高生产效率和产品质量。

📄 摘要（原文）

This paper addresses the challenges of learning representations for recipes and food images in the cross-modal retrieval problem. As the relationship between a recipe and its cooked dish is cause-and-effect, treating a recipe as a text source describing the visual appearance of a dish for learning representation, as the existing approaches, will create bias misleading image-and-recipe similarity judgment. Specifically, a food image may not equally capture every detail in a recipe, due to factors such as the cooking process, dish presentation, and image-capturing conditions. The current representation learning tends to capture dominant visual-text alignment while overlooking subtle variations that determine retrieval relevance. In this paper, we model such bias in cross-modal representation learning using causal theory. The causal view of this problem suggests ingredients as one of the confounder sources and a simple backdoor adjustment can alleviate the bias. By causal intervention, we reformulate the conventional model for food-to-recipe retrieval with an additional term to remove the potential bias in similarity judgment. Based on this theory-informed formulation, we empirically prove the oracle performance of retrieval on the Recipe1M dataset to be MedR=1 across the testing data sizes of 1K, 10K, and even 50K. We also propose a plug-and-play neural module, which is essentially a multi-label ingredient classifier for debiasing. New state-of-the-art search performances are reported on the Recipe1M dataset.