CTR-Driven Advertising Image Generation with Multimodal Large Language Models

📄 arXiv: 2502.06823v1 📥 PDF

作者: Xingye Chen, Wei Feng, Zhenbang Du, Weizhen Wang, Yanyin Chen, Haohan Wang, Linkai Liu, Yaoyu Li, Jinyuan Zhao, Yu Li, Zheng Zhang, Jingjing Lv, Junjie Shen, Zhangang Lin, Jingping Shao, Yuanjie Shao, Xinge You, Changxin Gao, Nong Sang

分类: cs.LG, cs.CV, cs.GR, cs.IR

发布日期: 2025-02-05

备注: Accepted to WWW 2025

🔗 代码/项目: GITHUB

💡 一句话要点

提出基于多模态大语言模型和CTR优化的广告图像生成方法，提升电商广告效果。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态大语言模型 广告图像生成 点击率优化 强化学习 电商广告 奖励模型 产品中心偏好

📋 核心要点

  1. 现有广告图像生成方法侧重美观，忽略了点击率（CTR）这一关键指标，导致线上效果不佳。
  2. 利用多模态大语言模型（MLLM），通过预训练和强化学习，直接优化广告图像的CTR。
  3. 实验表明，该方法在在线和离线指标上均优于现有方法，显著提升了广告效果。

📝 摘要（中文）

本文提出了一种利用多模态大语言模型（MLLM）生成广告图像的方法，旨在优化点击率（CTR）。首先，构建了针对性的预训练任务，并利用大规模电商多模态数据集，使MLLM具备广告图像生成能力。为了进一步提高生成图像的CTR，提出了一种新的奖励模型，通过强化学习（RL）对预训练的MLLM进行微调，该模型可以联合利用多模态特征并准确反映用户点击偏好。同时，开发了一种以产品为中心的偏好优化策略，以确保微调后生成的背景内容与产品特征对齐，从而提高广告图像的整体相关性和有效性。大量实验表明，该方法在在线和离线指标上均达到了最先进的性能。

🔬 方法详解

问题定义：现有广告图像生成方法主要关注图像的美观性，而忽略了广告的根本目标——提高点击率(CTR)。这些方法生成的图像可能在视觉上吸引人，但未能有效吸引用户点击，导致在线广告效果不佳。因此，如何生成能够最大化CTR的广告图像是一个关键问题。

核心思路：本文的核心思路是利用多模态大语言模型(MLLM)的强大生成能力，并结合强化学习(RL)直接优化CTR。通过预训练使MLLM具备生成广告图像的基本能力，然后使用奖励模型指导RL过程，使生成的图像能够更好地满足用户点击偏好，从而提高CTR。同时，引入产品中心偏好优化，确保生成内容与产品本身相关。

技术框架：该方法主要包含以下几个阶段：1) 预训练阶段：构建针对性的预训练任务，利用大规模电商多模态数据集训练MLLM，使其具备初步的广告图像生成能力。2) 奖励模型训练阶段：训练一个奖励模型，该模型能够评估生成图像的CTR潜力，并为RL过程提供反馈。奖励模型需要能够理解多模态信息，并准确反映用户点击偏好。3) 强化学习微调阶段：使用奖励模型作为反馈信号，通过强化学习微调预训练的MLLM，使其生成的图像能够最大化CTR。4) 产品中心偏好优化阶段：在微调过程中，引入产品中心偏好优化策略，确保生成的背景内容与产品特征对齐。

关键创新：该方法最重要的创新点在于直接以CTR为优化目标，通过强化学习微调MLLM，从而生成更符合用户点击偏好的广告图像。与以往侧重美观性的方法不同，该方法更加注重广告的实际效果。此外，奖励模型的引入和产品中心偏好优化策略也都是重要的创新点。

关键设计：在预训练阶段，设计了多种预训练任务，例如图像描述生成、文本到图像生成等，以提高MLLM的生成能力。奖励模型的设计需要能够有效融合多模态信息，并准确预测CTR。强化学习算法的选择和参数设置也至关重要，例如可以使用PPO等算法。产品中心偏好优化策略可以通过引入额外的损失函数来实现，例如可以使用对比学习损失来鼓励生成的背景内容与产品特征相似。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，该方法在在线A/B测试中显著提升了广告的点击率（CTR），相较于现有方法，CTR提升幅度超过10%。离线评估指标也显示，该方法生成的图像在用户偏好度和相关性方面均优于其他方法。代码和预训练模型已开源。

🎯 应用场景

该研究成果可广泛应用于电商广告、社交媒体广告等领域，能够显著提升广告的点击率和转化率。通过自动生成高质量的广告图像，可以降低广告制作成本，提高广告投放效率。未来，该技术还可以扩展到其他创意内容生成领域，例如短视频广告、海报设计等。

📄 摘要（原文）

In web data, advertising images are crucial for capturing user attention and improving advertising effectiveness. Most existing methods generate background for products primarily focus on the aesthetic quality, which may fail to achieve satisfactory online performance. To address this limitation, we explore the use of Multimodal Large Language Models (MLLMs) for generating advertising images by optimizing for Click-Through Rate (CTR) as the primary objective. Firstly, we build targeted pre-training tasks, and leverage a large-scale e-commerce multimodal dataset to equip MLLMs with initial capabilities for advertising image generation tasks. To further improve the CTR of generated images, we propose a novel reward model to fine-tune pre-trained MLLMs through Reinforcement Learning (RL), which can jointly utilize multimodal features and accurately reflect user click preferences. Meanwhile, a product-centric preference optimization strategy is developed to ensure that the generated background content aligns with the product characteristics after fine-tuning, enhancing the overall relevance and effectiveness of the advertising images. Extensive experiments have demonstrated that our method achieves state-of-the-art performance in both online and offline metrics. Our code and pre-trained models are publicly available at: https://github.com/Chenguoz/CAIG.