A Collaborative Ensemble Framework for CTR Prediction

📄 arXiv: 2411.13700v1 📥 PDF

作者: Xiaolong Liu, Zhichen Zeng, Xiaoyi Liu, Siyang Yuan, Weinan Song, Mengyue Hang, Yiqun Liu, Chaofei Yang, Donghyun Kim, Wen-Yen Chen, Jiyan Yang, Yiping Han, Rong Jin, Bo Long, Hanghang Tong, Philip S. Yu

分类: cs.IR, cs.LG

发布日期: 2024-11-20

💡 一句话要点

提出CETNet协同集成训练框架，利用多模型协同学习提升CTR预测性能。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: CTR预测 协同学习 集成学习 推荐系统 深度学习 特征交互 模型融合

📋 核心要点

  1. 现有推荐模型简单增大模型尺寸难以保证性能提升，尤其是在大规模数据下。
  2. CETNet通过协同学习，利用多个具有独立嵌入表的模型捕获独特的特征交互模式。
  3. 实验表明，CETNet在多个数据集上优于现有模型，且能以更小嵌入尺寸达到更好性能。

📝 摘要（中文）

本文提出了一种新的框架，即协同集成训练网络（CETNet），旨在利用多个具有独立嵌入表的模型来捕获独特的特征交互模式。与简单的模型扩展不同，我们的方法强调通过协同学习实现多样性和协作，其中模型迭代地改进其预测。为了动态平衡每个模型的贡献，我们引入了一种基于置信度的融合机制，该机制使用通用softmax，其中模型置信度通过否定熵计算。这种设计确保了更自信的模型对最终预测具有更大的影响，同时受益于其他模型的互补优势。我们在三个公共数据集（AmazonElectronics、TaobaoAds和KuaiVideo）以及来自Meta的大规模工业数据集上验证了我们的框架，证明了其优于单个模型和最先进的基线。此外，我们对Criteo和Avazu数据集进行了进一步的实验，以将我们的方法与多嵌入范例进行比较。我们的结果表明，我们的框架以更小的嵌入尺寸实现了可比或更好的性能，为CTR预测任务提供了一种可扩展且高效的解决方案。

🔬 方法详解

问题定义：现有CTR预测模型通常通过扩大模型规模来提升性能，但简单地增加模型大小，即使在大量数据的情况下，也并不总是能带来预期的性能提升。尤其是在embedding table的设计上，单一的embedding table可能无法充分捕捉到所有重要的特征交互模式，导致模型表达能力受限。

核心思路：CETNet的核心思路是利用多个不同的模型，每个模型都有自己独立的embedding table，从而能够捕捉到不同的特征交互模式。通过协同学习，这些模型可以互相学习，互相提升，最终达到比单个模型更好的性能。这种方法强调模型的多样性和协作性，而不是单纯地扩大模型规模。

技术框架：CETNet的整体框架包含多个独立的CTR预测模型，每个模型都有自己的embedding table和预测模块。这些模型并行训练，并通过一个协同学习机制进行信息交换。该机制包含一个置信度评估模块和一个融合模块。置信度评估模块用于评估每个模型的预测置信度，融合模块则根据置信度对各个模型的预测结果进行加权融合，得到最终的预测结果。

关键创新：CETNet的关键创新在于其协同学习机制和基于置信度的融合方法。协同学习机制使得各个模型可以互相学习，从而提升整体性能。基于置信度的融合方法可以动态地平衡各个模型的贡献，使得更自信的模型对最终预测结果产生更大的影响。

关键设计：CETNet使用否定熵来计算模型的置信度。具体来说，对于每个模型的预测结果，计算其预测概率分布的否定熵，作为该模型的置信度。融合模块使用softmax函数对各个模型的置信度进行归一化，得到每个模型的权重。最终的预测结果是各个模型预测结果的加权平均，权重由softmax函数计算得到。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

CETNet在AmazonElectronics、TaobaoAds、KuaiVideo和Meta的工业数据集上验证了其有效性，相较于单个模型和state-of-the-art的基线模型，性能均有显著提升。在Criteo和Avazu数据集上的实验表明，CETNet能够以更小的embedding size达到可比甚至更好的性能，验证了其高效性。

🎯 应用场景

CETNet框架可广泛应用于各种CTR预测场景，例如在线广告、推荐系统、搜索引擎等。通过利用多个模型协同学习，CETNet能够有效提升CTR预测的准确性和效率，从而提高广告点击率、商品推荐转化率和搜索结果的相关性。该框架具有良好的可扩展性，可以方便地集成到现有的CTR预测系统中。

📄 摘要（原文）

Recent advances in foundation models have established scaling laws that enable the development of larger models to achieve enhanced performance, motivating extensive research into large-scale recommendation models. However, simply increasing the model size in recommendation systems, even with large amounts of data, does not always result in the expected performance improvements. In this paper, we propose a novel framework, Collaborative Ensemble Training Network (CETNet), to leverage multiple distinct models, each with its own embedding table, to capture unique feature interaction patterns. Unlike naive model scaling, our approach emphasizes diversity and collaboration through collaborative learning, where models iteratively refine their predictions. To dynamically balance contributions from each model, we introduce a confidence-based fusion mechanism using general softmax, where model confidence is computed via negation entropy. This design ensures that more confident models have a greater influence on the final prediction while benefiting from the complementary strengths of other models. We validate our framework on three public datasets (AmazonElectronics, TaobaoAds, and KuaiVideo) as well as a large-scale industrial dataset from Meta, demonstrating its superior performance over individual models and state-of-the-art baselines. Additionally, we conduct further experiments on the Criteo and Avazu datasets to compare our method with the multi-embedding paradigm. Our results show that our framework achieves comparable or better performance with smaller embedding sizes, offering a scalable and efficient solution for CTR prediction tasks.