VLM4Rec: Multimodal Semantic Representation for Recommendation with Large Vision-Language Models

📄 arXiv: 2603.12625v1 📥 PDF

作者: Ty Valencia, Burak Barlas, Varun Singhal, Ruchir Bhatia, Wei Yang

分类: cs.IR, cs.AI, cs.CV

发布日期: 2026-03-13

备注: 13 pages, 4 figures, 1 table

🔗 代码/项目: GITHUB

💡 一句话要点

VLM4Rec：利用大型视觉-语言模型进行多模态语义表征的推荐

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态推荐 视觉-语言模型 语义表征 用户偏好 项目嵌入

📋 核心要点

  1. 现有方法侧重于直接融合视觉特征，忽略了用户偏好与项目语义之间的对齐问题，导致推荐效果不佳。
  2. VLM4Rec利用大型视觉-语言模型将图像转换为自然语言描述，从而在语义层面表示项目，实现偏好匹配。
  3. 实验表明，VLM4Rec在多个数据集上显著优于基于原始视觉特征和特征融合的方法，验证了语义表征的重要性。

📝 摘要（中文）

多模态推荐通常被视为一个特征融合问题，其中文本和视觉信号被组合以更好地建模用户偏好。然而，多模态推荐的有效性不仅取决于模态如何融合，还取决于项目内容是否以与偏好匹配对齐的语义空间中表示。这个问题尤为重要，因为原始视觉特征通常保留外观相似性，而用户决策通常由更高层次的语义因素（如风格、材料和使用环境）驱动。基于此，我们提出了VLM4Rec，一个轻量级框架，通过语义对齐而非直接特征融合来组织多模态项目内容。VLM4Rec首先使用大型视觉-语言模型将每个项目图像转换为显式的自然语言描述，然后将语义编码为密集的项目表示，用于面向偏好的检索。随后，通过基于用户画像的语义匹配机制对历史项目嵌入进行推荐，从而实现实用的离线-在线分解。在多个多模态推荐数据集上的大量实验表明，VLM4Rec始终优于原始视觉特征和几种基于融合的替代方案，这表明在这种设置中，表示质量可能比融合复杂性更重要。

🔬 方法详解

问题定义：多模态推荐旨在融合文本和视觉信息以提升推荐效果。然而，现有方法通常直接融合原始视觉特征，忽略了视觉特征与用户偏好之间的语义鸿沟。用户决策往往基于更高层次的语义信息，如风格、材质等，而原始视觉特征更多地保留了外观相似性，这导致推荐结果与用户实际需求不符。

核心思路：VLM4Rec的核心思路是通过大型视觉-语言模型（VLM）将项目图像转换为自然语言描述，从而在语义层面表示项目。这种方法将视觉信息转化为更易于理解和匹配用户偏好的语义信息，从而弥合了视觉特征与用户偏好之间的鸿沟。通过语义对齐，VLM4Rec能够更准确地捕捉用户对项目风格、材质等语义属性的偏好。

技术框架：VLM4Rec框架主要包含两个阶段：语义 grounding 阶段和推荐阶段。在语义 grounding 阶段，使用大型视觉-语言模型将每个项目图像转换为自然语言描述。然后，将这些描述编码为密集的项目表示。在推荐阶段，通过简单的基于用户画像的语义匹配机制，对历史项目嵌入进行检索，从而实现推荐。这种离线-在线分解的设计使得 VLM4Rec 具有良好的可扩展性和实用性。

关键创新：VLM4Rec的关键创新在于利用大型视觉-语言模型进行语义 grounding，从而将视觉信息转化为语义信息。与直接融合原始视觉特征的方法不同，VLM4Rec 关注于项目内容的语义表示，并将其与用户偏好进行匹配。这种方法能够更有效地捕捉用户对项目语义属性的偏好，从而提升推荐效果。

关键设计：VLM4Rec 使用预训练的大型视觉-语言模型（如 CLIP）进行图像描述生成。生成的文本描述随后被编码为项目嵌入向量。推荐阶段使用简单的余弦相似度来衡量用户画像和项目嵌入之间的相似度。损失函数通常采用标准的 pairwise ranking loss 或 cross-entropy loss。具体的网络结构和参数设置取决于所使用的大型视觉-语言模型和嵌入模型。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，VLM4Rec在多个多模态推荐数据集上 consistently 优于基于原始视觉特征和特征融合的基线方法。例如，在某数据集上，VLM4Rec 的 Recall@20 指标提升了 5% 以上，表明其能够更有效地捕捉用户偏好并提升推荐准确率。实验结果验证了语义表征在多模态推荐中的重要性。

🎯 应用场景

VLM4Rec可应用于电商、时尚、家居等领域的多模态推荐系统。通过理解用户对项目风格、材质等语义属性的偏好，能够更精准地推荐符合用户需求的产品，提升用户体验和购买转化率。该方法还可用于个性化广告推荐、内容推荐等场景，具有广泛的应用前景。

📄 摘要（原文）

Multimodal recommendation is commonly framed as a feature fusion problem, where textual and visual signals are combined to better model user preference. However, the effectiveness of multimodal recommendation may depend not only on how modalities are fused, but also on whether item content is represented in a semantic space aligned with preference matching. This issue is particularly important because raw visual features often preserve appearance similarity, while user decisions are typically driven by higher-level semantic factors such as style, material, and usage context. Motivated by this observation, we propose LVLM-grounded Multimodal Semantic Representation for Recommendation (VLM4Rec), a lightweight framework that organizes multimodal item content through semantic alignment rather than direct feature fusion. VLM4Rec first uses a large vision-language model to ground each item image into an explicit natural-language description, and then encodes the grounded semantics into dense item representations for preference-oriented retrieval. Recommendation is subsequently performed through a simple profile-based semantic matching mechanism over historical item embeddings, yielding a practical offline-online decomposition. Extensive experiments on multiple multimodal recommendation datasets show that VLM4Rec consistently improves performance over raw visual features and several fusion-based alternatives, suggesting that representation quality may matter more than fusion complexity in this setting. The code is released at https://github.com/tyvalencia/enhancing-mm-rec-sys.