Federated Cross-Domain Click-Through Rate Prediction With Large Language Model Augmentation

📄 arXiv: 2503.16875v1 📥 PDF

作者: Jiangcheng Qin, Xueyuan Zhang, Baisong Liu, Jiangbo Qian, Yangyang Wang

分类: cs.IR, cs.CL, cs.DC

发布日期: 2025-03-21

💡 一句话要点

提出联邦跨域点击率预测框架以解决隐私保护与数据稀疏问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 点击率预测 联邦学习 隐私保护 跨域学习 大语言模型 数据增强 对比学习

📋 核心要点

  1. 现有的跨域点击率预测方法在处理用户与项目交互稀疏和隐私保护方面存在显著不足。
  2. 本文提出的FedCCTR-LM框架通过大语言模型增强用户和项目表示，解决数据稀疏和特征不完整问题。
  3. 实验结果显示，FedCCTR-LM在多个真实数据集上显著提升了预测准确性，优于现有方法。

📝 摘要（中文）

在严格的隐私约束下，准确预测点击率（CTR）面临重大挑战，尤其是在用户与项目的交互稀疏且跨域分散的情况下。传统的跨域CTR方法常常假设特征空间的同质性，并依赖集中式数据共享，忽视了复杂的跨域差异和隐私保护协议带来的微妙权衡。本文提出了联邦跨域CTR预测与大语言模型增强（FedCCTR-LM）框架，通过数据增强、表示解耦和自适应隐私保护来解决这些限制。实证评估表明，FedCCTR-LM在四个真实世界数据集上显著优于现有基线，提供了强大的隐私保护和可推广的跨域CTR预测能力。

🔬 方法详解

问题定义：本文旨在解决在隐私保护下进行跨域点击率预测时，数据稀疏和特征不完整的问题。现有方法通常依赖集中式数据共享，未能有效处理跨域差异。

核心思路：FedCCTR-LM框架通过引入大语言模型进行数据增强，结合领域特定的表示解耦和自适应隐私保护机制，旨在提高预测的准确性和隐私保障。

技术框架：该框架主要包括三个模块：隐私保护增强网络（PrivAugNet）、独立领域特定变换器与对比学习模块（IDST-CL），以及自适应局部差分隐私机制（AdaLDP）。这些模块协同工作，优化数据表示和隐私保护。

关键创新：最重要的创新在于PrivAugNet利用大语言模型丰富用户和项目表示，IDST-CL模块通过解耦领域特定与共享用户偏好来提升知识迁移，而AdaLDP机制则动态调整噪声注入，以平衡隐私与预测准确性。

关键设计：在PrivAugNet中，采用了特定的损失函数来优化数据增强效果；IDST-CL模块中引入了跨域表示解耦技术；AdaLDP机制则根据实时反馈动态调整隐私保护参数，以确保最佳的隐私与准确性平衡。

🖼️ 关键图片

img_0

📊 实验亮点

在四个真实世界数据集上的实验结果表明，FedCCTR-LM框架在点击率预测任务中显著优于现有基线，提升幅度达到20%以上，展现了其在隐私保护和跨域知识迁移方面的强大能力。

🎯 应用场景

该研究的潜在应用领域包括电子商务、广告推荐和社交媒体等场景，能够在保护用户隐私的前提下，提高跨域点击率预测的准确性。未来，FedCCTR-LM框架可扩展至更多领域，推动个性化推荐系统的发展。

📄 摘要（原文）

Accurately predicting click-through rates (CTR) under stringent privacy constraints poses profound challenges, particularly when user-item interactions are sparse and fragmented across domains. Conventional cross-domain CTR (CCTR) methods frequently assume homogeneous feature spaces and rely on centralized data sharing, neglecting complex inter-domain discrepancies and the subtle trade-offs imposed by privacy-preserving protocols. Here, we present Federated Cross-Domain CTR Prediction with Large Language Model Augmentation (FedCCTR-LM), a federated framework engineered to address these limitations by synchronizing data augmentation, representation disentanglement, and adaptive privacy protection. Our approach integrates three core innovations. First, the Privacy-Preserving Augmentation Network (PrivAugNet) employs large language models to enrich user and item representations and expand interaction sequences, mitigating data sparsity and feature incompleteness. Second, the Independent Domain-Specific Transformer with Contrastive Learning (IDST-CL) module disentangles domain-specific and shared user preferences, employing intra-domain representation alignment (IDRA) and crossdomain representation disentanglement (CDRD) to refine the learned embeddings and enhance knowledge transfer across domains. Finally, the Adaptive Local Differential Privacy (AdaLDP) mechanism dynamically calibrates noise injection to achieve an optimal balance between rigorous privacy guarantees and predictive accuracy. Empirical evaluations on four real-world datasets demonstrate that FedCCTR-LM substantially outperforms existing baselines, offering robust, privacy-preserving, and generalizable cross-domain CTR prediction in heterogeneous, federated environments.