Feature Fusion Revisited: Multimodal CTR Prediction for MMCTR Challenge

📄 arXiv: 2504.18961v1 📥 PDF

作者: Junjie Zhou

分类: cs.IR, cs.AI

发布日期: 2025-04-26

备注: A technical report for the MMCTR Challenge held by EReL@MIR Workshop at WWW 2025

🔗 代码/项目: GITHUB | HUGGINGFACE

💡 一句话要点

针对MMCTR挑战赛，提出一种改进的特征融合方法用于多模态CTR预测。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态学习 点击率预测 特征融合 推荐系统 深度学习

📋 核心要点

  1. 多模态推荐系统面临大型语言模型带来的高延迟挑战，影响了实际应用。
  2. 该论文探索了特征融合方法，旨在提升多模态表征学习的效率，从而优化CTR预测。
  3. 团队在MMCTR挑战赛Task 2中获胜，验证了所提出方法的有效性，并公开了代码和模型。

📝 摘要（中文）

随着多模态大型语言模型（MLLMs）的快速发展，越来越多的研究人员正在探索其在推荐系统中的应用。然而，大型模型相关的高延迟为此类用例带来了重大挑战。EReL@MIR研讨会提供了一个宝贵的机会，可以尝试各种旨在提高多模态表征学习效率的方法，以用于信息检索任务。作为竞赛要求的一部分，参赛者必须提交一份技术报告，详细说明其方法和发现。我们的团队很荣幸获得Task 2的冠军（多模态CTR预测）。在本技术报告中，我们介绍了我们的方法和主要发现。此外，我们还为未来的工作提出了几个方向，特别关注如何有效地将推荐信号整合到多模态表征中。我们的实现的codebase可在以下网址公开获取：https://github.com/Lattice-zjj/MMCTR_Code，训练后的模型权重可在以下网址访问：https://huggingface.co/FireFlyCourageous/MMCTR_DIN_MicroLens_1M_x1。

🔬 方法详解

问题定义：论文旨在解决多模态CTR（点击率）预测问题，特别是在计算资源受限或对延迟敏感的场景下。现有方法，尤其是直接应用大型多模态模型的方法，往往由于模型体积和计算复杂度而导致高延迟，难以满足实际推荐系统的需求。因此，如何高效地融合多模态特征，在保证预测精度的同时降低计算成本，是本研究要解决的核心问题。

核心思路：论文的核心思路是重新审视特征融合策略，探索更有效的多模态信息整合方式，以在精度和效率之间取得平衡。具体而言，可能采用了某种轻量级的特征交互模块，或者对不同模态的特征进行选择性融合，从而避免了对所有模态信息进行无差别处理，降低了计算复杂度。

技术框架：由于摘要信息有限，具体的技术框架未知。但根据论文标题和摘要内容推测，可能采用了以下框架：首先，对不同模态（例如图像和文本）的输入进行特征提取；然后，通过某种特征融合模块（例如Attention机制、门控机制等）将不同模态的特征进行融合；最后，将融合后的特征输入到CTR预测模型中，例如深度兴趣网络（DIN）或其他类似的模型。

关键创新：由于摘要信息有限，具体的创新点未知。但可以推测，其创新可能体现在以下几个方面：1) 提出了一种新的特征融合模块，能够更有效地整合多模态信息；2) 设计了一种自适应的特征选择机制，能够根据输入样本的不同，选择性地融合不同模态的特征；3) 对现有的CTR预测模型进行了改进，使其更适合处理多模态数据。

关键设计：由于摘要信息有限，具体的关键设计未知。但可以推测，可能涉及以下技术细节：1) 特征融合模块的具体结构和参数设置；2) 特征选择机制的实现方式和训练方法；3) 损失函数的设计，例如是否采用了某种正则化项来防止过拟合；4) 模型训练的优化算法和超参数设置。

📊 实验亮点

该团队在MMCTR挑战赛Task 2中获得了冠军，证明了其提出的特征融合方法在多模态CTR预测方面的有效性。虽然摘要中没有提供具体的性能数据，但可以推断，该方法在精度和效率方面都优于其他参赛队伍的方案。公开的代码和模型权重为后续研究提供了便利。

🎯 应用场景

该研究成果可应用于各种需要进行多模态CTR预测的场景，例如电商推荐、广告推荐、短视频推荐等。通过提升多模态特征融合的效率，可以降低推荐系统的延迟，提高用户体验，并最终提升业务指标。未来的研究可以进一步探索如何将推荐信号更有效地融入多模态表征中，从而实现更精准的个性化推荐。

📄 摘要（原文）

With the rapid advancement of Multimodal Large Language Models (MLLMs), an increasing number of researchers are exploring their application in recommendation systems. However, the high latency associated with large models presents a significant challenge for such use cases. The EReL@MIR workshop provided a valuable opportunity to experiment with various approaches aimed at improving the efficiency of multimodal representation learning for information retrieval tasks. As part of the competition's requirements, participants were mandated to submit a technical report detailing their methodologies and findings. Our team was honored to receive the award for Task 2 - Winner (Multimodal CTR Prediction). In this technical report, we present our methods and key findings. Additionally, we propose several directions for future work, particularly focusing on how to effectively integrate recommendation signals into multimodal representations. The codebase for our implementation is publicly available at: https://github.com/Lattice-zjj/MMCTR_Code, and the trained model weights can be accessed at: https://huggingface.co/FireFlyCourageous/MMCTR_DIN_MicroLens_1M_x1.