OneBid: A Unified Auto-Bidding Foundation Model for Diverse oCPX Advertising Scenarios

📄 arXiv: 2609.21550v1 📥 PDF

作者: Yewen Li, Peng Jiang, Yitian Li, Pengfei Lv, Xialong Liu, Peng Jiang, Qingpeng Cai

分类: cs.LG, cs.AI

发布日期: 2026-09-18

💡 一句话要点

提出OneBid以解决oCPX广告场景的统一自动竞价问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 自动竞价 oCPX广告 多目标优化 混合专家架构 离线策略优化

📋 核心要点

  1. 现有的自动竞价方法在处理异构oCPX场景时存在碎片化问题，导致模型无法有效共享跨场景知识。
  2. 本文提出OneBid，通过统一模型学习异构oCPX日志，并利用离线后训练适应特定场景，解决了多目标控制和安全性问题。
  3. 在Kuaishou的在线A/B测试中，OneBid实现了+2.2%的ADVV增益，ROAS场景中最高提升达到+13.1%。

📝 摘要（中文）

自动竞价是计算广告的核心，旨在在经济约束下最大化广告主的转化价值。现有方法如基于规则的控制器和强化学习逐渐与优化的每个X成本（oCPX）范式不匹配，导致模型碎片化和跨场景建模不足。为此，本文提出OneBid，一个统一的自动竞价基础模型，通过离线后训练将异构oCPX日志学习的可重用骨干适应于特定场景。OneBid在Decision Transformer基础上扩展了单一的回报条件，设计了混合专家架构以吸收分布异质性，并通过Critic引导的相对离线策略优化（CROP）对骨干进行对齐。经验证，OneBid在Kuaishou的oCPX广告中实现了+2.2%的ADVV增益，最高达到+13.1%的ROAS场景提升。

🔬 方法详解

问题定义：本文旨在解决现有自动竞价方法在异构oCPX场景中的碎片化问题，导致模型无法有效共享知识和适应不同场景的需求。

核心思路：OneBid通过构建一个统一的基础模型，学习异构oCPX日志中的可重用骨干，并通过离线后训练适应特定场景，从而实现跨场景的知识共享和高效建模。

技术框架：OneBid的整体架构包括三个主要模块：基于Decision Transformer的模型扩展、混合专家架构和Critic引导的相对离线策略优化（CROP）。模型首先学习通用的骨干，然后通过后训练对其进行场景特定的调整。

关键创新：OneBid的主要创新在于将单一的回报条件扩展为两个原子信号：转化价值的回报和成本比的回报，同时引入价值感知的下一步预测正则化。这种设计使得模型能够更好地处理多目标控制问题。

关键设计：在混合专家架构中，设计了共享专家以编码跨场景知识，以及稀疏路由专家以捕捉特定场景模式，确保低延迟和一致的模型扩展性。CROP通过学习的评论员对候选动作进行评分，避免了不安全的在线探索。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在Kuaishou进行的在线A/B测试中，OneBid实现了整体+2.2%的ADVV增益，特别是在ROAS场景中，增幅高达+13.1%。这些结果表明，OneBid在提升广告效果方面具有显著的优势，验证了其在实际应用中的有效性。

🎯 应用场景

OneBid的研究成果在广告投放领域具有广泛的应用潜力，尤其是在需要处理多种广告转化场景的情况下。通过统一的自动竞价模型，广告主可以更高效地管理广告预算，提升转化率，进而实现更高的投资回报率。未来，OneBid的框架也可以扩展到其他需要多目标优化的领域，如电商和在线服务。

📄 摘要（原文）

Auto-bidding is central to computational advertising, where strategies must maximize advertisers' conversion value under economic constraints. It has evolved from rule-based controllers to reinforcement learning and generative methods such as Decision Transformer (DT). Yet these methods increasingly mismatch the prevailing optimized cost-per-X (oCPX) paradigm, which spans heterogeneous scenarios (e.g., registration, purchase), each served by a separate model, leading to fragmented pipelines and underexploring cross-scenario modeling. Inspired by foundation models like LLMs, unifying these oCPX scenarios into one model raises three challenges: multi-objective control, scalable capacity under strict latency, and safe offline policy improvement. We present OneBid, a unified auto-bidding foundation model that learns a reusable backbone from heterogeneous oCPX logs and adapts it to scenario-specific deployments via offline post-training. Building on DT, OneBid extends single Return-to-Go conditioning to two atomic signals, Return-to-Go for conversion value and Cost-to-Go for cost ratio, plus value-aware regularization on next-action prediction. To absorb distributional heterogeneity, we design a sequence-level Mixture-of-Experts architecture, where shared experts encode cross-scenario knowledge and sparsely-routed experts capture scenario-specific patterns at low latency, yielding consistent scaling with model size and data. During post-training, we align the backbone with scenario preferences via Critic-guided Relative Offline Policy optimization (CROP): a learned critic scores candidate actions group-relatively, avoiding the unsafe online exploration of GRPO-style fine-tuning while constraining policy shift to reduce OOD risk. Validated via online A/B tests and fully deployed at Kuaishou, OneBid delivers an overall +2.2% ADVV gain on oCPX Ads, peaking at +13.1% in the ROAS scenario.