X-Reflect: Cross-Reflection Prompting for Multimodal Recommendation

📄 arXiv: 2408.15172v2 📥 PDF

作者: Hanjia Lyu, Ryan Rossi, Xiang Chen, Md Mehrab Tanjim, Stefano Petrangeli, Somdeb Sarkhel, Jiebo Luo

分类: cs.IR, cs.CL, cs.CV

发布日期: 2024-08-27 (更新: 2025-10-23)

💡 一句话要点

提出X-Reflect，通过跨模态反思提示增强多模态推荐系统性能

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态推荐 大型语言模型 跨模态反思 提示学习 文本图像融合

📋 核心要点

  1. 现有推荐系统未能充分利用文本和图像模态的互补信息，导致物品表示不够全面。
  2. X-Reflect框架通过提示MLLMs显式识别和协调文本与图像间的支持性和冲突性信息，生成更丰富的物品表示。
  3. 实验表明，X-Reflect在推荐准确性上优于现有基线，并提出了轻量级变体X-Reflect-keyword以支持实时推理。

📝 摘要（中文）

大型语言模型(LLMs)已被证明可以通过丰富物品描述来提高推荐系统的准确性。然而，现有方法大多依赖于纯文本提示或采用基础的多模态策略，未能充分利用文本和视觉模态的互补信息。本文提出了一种新的框架，即跨模态反思提示(X-Reflect)，旨在通过提示多模态大型语言模型(MLLMs)来显式地识别和协调文本和图像之间支持性和冲突性信息，从而解决这些局限性。通过捕捉来自两种模态的细微见解，该方法生成更全面和上下文丰富的物品表示。在两个广泛使用的基准数据集上进行的大量实验表明，我们的方法优于现有的提示基线。此外，我们发现文本-图像差异性与推荐性能之间存在U型关系，表明选择性地应用多模态提示是有益的。为了支持高效的实时推理，我们还引入了X-Reflect-keyword，这是一种轻量级变体，它使用关键词总结图像内容，并将基础模型替换为更小的骨干网络，在保持竞争力的同时，输入长度减少了近50%。这项工作强调了整合多模态信息的重要性，并为改进多模态推荐系统中物品理解提供了一种有效的解决方案。

🔬 方法详解

问题定义：论文旨在解决多模态推荐系统中，现有方法无法有效融合文本和图像信息，导致物品表示不够准确和全面的问题。现有方法要么只使用文本信息，要么简单地将文本和图像信息拼接在一起，忽略了两种模态之间的复杂关系，例如支持、冲突等。

核心思路：论文的核心思路是利用多模态大型语言模型（MLLMs）的强大理解能力，通过精心设计的提示（Prompting）机制，让模型能够主动地识别和协调文本和图像之间的关系。具体来说，就是让模型反思（Reflect）文本和图像之间的支持和冲突信息，从而生成更全面、更准确的物品表示。

技术框架：X-Reflect框架主要包含以下几个步骤：1) 输入文本和图像信息；2) 使用特定的Prompt，引导MLLM分析文本和图像之间的关系，识别支持和冲突信息；3) 将MLLM的输出作为物品的表示；4) 使用该表示进行下游的推荐任务。X-Reflect-keyword变体则首先提取图像的关键词，然后将关键词与文本一起输入到较小的语言模型中，以降低计算成本。

关键创新：论文的关键创新在于提出了“跨模态反思提示”（Cross-Reflection Prompting）的思想。与以往的简单拼接或注意力机制不同，X-Reflect通过Prompting的方式，让模型主动地去理解和协调不同模态之间的信息，从而更好地利用多模态数据。此外，U型曲线的发现也为多模态信息的选择性使用提供了理论依据。

关键设计：X-Reflect的关键设计在于Prompt的设计。Prompt需要能够有效地引导MLLM去识别文本和图像之间的支持和冲突信息。论文中使用的Prompt的具体内容未知，但可以推测其包含一些引导性的问题，例如“文本和图像是否一致？”、“图像是否支持文本的描述？”等。此外，X-Reflect-keyword变体中，关键词提取算法和小型语言模型的选择也是关键设计。

🖼️ 关键图片

fig_0

📊 实验亮点

实验结果表明，X-Reflect在两个基准数据集上均优于现有的Prompting基线方法，证明了其有效性。此外，论文还发现文本-图像差异性与推荐性能之间存在U型关系，为多模态信息的选择性使用提供了依据。轻量级变体X-Reflect-keyword在保持竞争力的同时，输入长度减少了近50%，为实时推理提供了可能。

🎯 应用场景

X-Reflect框架可应用于电商、社交媒体、在线教育等多个领域，提升推荐系统的准确性和用户体验。通过更精准地理解物品或内容，可以为用户推荐更符合其兴趣和需求的商品、信息或课程。该研究有助于推动多模态信息融合技术的发展，并为未来的推荐系统设计提供新的思路。

📄 摘要（原文）

Large Language Models (LLMs) have been shown to enhance the effectiveness of enriching item descriptions, thereby improving the accuracy of recommendation systems. However, most existing approaches either rely on text-only prompting or employ basic multimodal strategies that do not fully exploit the complementary information available from both textual and visual modalities. This paper introduces a novel framework, Cross-Reflection Prompting, termed X-Reflect, designed to address these limitations by prompting Multimodal Large Language Models (MLLMs) to explicitly identify and reconcile supportive and conflicting information between text and images. By capturing nuanced insights from both modalities, this approach generates more comprehensive and contextually rich item representations. Extensive experiments conducted on two widely used benchmarks demonstrate that our method outperforms existing prompting baselines in downstream recommendation accuracy. Furthermore, we identify a U-shaped relationship between text-image dissimilarity and recommendation performance, suggesting the benefit of applying multimodal prompting selectively. To support efficient real-time inference, we also introduce X-Reflect-keyword, a lightweight variant that summarizes image content using keywords and replaces the base model with a smaller backbone, achieving nearly 50% reduction in input length while maintaining competitive performance. This work underscores the importance of integrating multimodal information and presents an effective solution for improving item understanding in multimodal recommendation systems.