Adversarial Post-Training of Foundation Models for High-Frequency Trading
作者: Alexandre Bismuth, Kang Li, Aramis Marti-Shahandeh, Valentin Mohl, Jakob Foerster, Anisoara Calinescu
分类: cs.LG
发布日期: 2026-10-19
备注: Accepted at the 7th ACM International Conference on AI in Finance (ICAIF '26), Milan, Italy. 9 pages, 5 figures, 4 tables. Code: https://github.com/alexandre-bismuth/WGAN-Post-Training
💡 一句话要点
提出对抗性后训练方法以提升高频交易模型的市场模拟能力
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 高频交易 生成对抗网络 市场模拟 模型后训练 演化策略 限价单簿 金融科技
📋 核心要点
- 现有的自回归基础模型在市场模拟中表现良好，但交叉熵预训练未能有效处理采样错误的累积和市场特性。
- 论文提出了一种基于Wasserstein GAN的后训练方法，通过在线评论员指导生成器的更新，提升模型性能。
- 实验结果表明，后训练显著提高了LOB-Bench的现实性，且在训练效率上远低于传统预训练方法。
📝 摘要（中文）
尽管基于限价单簿（LOB）数据训练的自回归基础模型在市场模拟中表现出色，但交叉熵预训练未能有效惩罚采样错误的累积，也未能针对期望的市场特性。本文提出了一种基于Wasserstein生成对抗网络（GAN）目标的LOB基础模型后训练方法。通过在线训练的评论员指导预训练生成器的更新，显著提高了LOB-Bench的现实性，并且后训练阶段是不可或缺的，更多的预训练无法替代。实验结果显示，后训练在效率和效果上均表现优异。
🔬 方法详解
问题定义：本文旨在解决现有自回归基础模型在市场模拟中由于交叉熵预训练导致的采样错误累积和市场特性不足的问题。
核心思路：通过引入Wasserstein GAN目标进行后训练，利用在线训练的评论员对生成器进行指导，从而改善模型的市场模拟能力。
技术框架：整体架构包括预训练生成器、在线评论员和演化策略。评论员通过真实的非可微匹配引擎进行训练，指导生成器的更新。
关键创新：最重要的创新在于采用了对抗性后训练方法，显著提高了模型在市场模拟中的表现，与传统的预训练方法形成鲜明对比。
关键设计：在设计中使用了KL信任区域和EGGROLL（低秩学习的演化引导优化），确保了训练的高效性和低内存消耗。
🖼️ 关键图片
📊 实验亮点
实验结果显示，采用对抗性后训练后，LOB-Bench的现实性提高了17.6%（WS-21）和17.0%（Mean-$L_1$）。与选择匹配的随机扰动和计算匹配的继续预训练对照组相比，后训练显著提升了模型性能。此外，后训练在500消息的滚动中将错误累积速度从3.1倍降低到2.3倍，显示出其有效性。
🎯 应用场景
该研究的潜在应用领域包括高频交易、金融市场模拟和算法交易系统。通过提升模型的市场模拟能力，可以帮助交易者更好地预测市场动态，从而优化交易策略，降低风险，提升收益。未来，该方法可能在金融科技领域产生深远影响，推动智能交易系统的发展。
📄 摘要（原文）
While autoregressive foundation models trained on limit order book (LOB) data show state-of-the-art performance for market simulation, pre-training with cross-entropy neither penalizes the compounding of sampling errors over free-running rollouts nor targets desired market properties. We introduce a post-training method for LOB foundation models using a Wasserstein generative adversarial network (GAN) objective. A critic, trained online on rollouts through the true, non-differentiable matching engine, guides updates from evolution strategies over rank-4 LoRA perturbations of the pre-trained generator, under a KL trust region. For efficiency, we use EGGROLL (Evolution Guided GeneRal Optimisation via Low-rank Learning), a memory-efficient variant of evolution strategies. On a held-out panel, adversarial post-training improves LOB-Bench realism by 17.6% (WS-21) and 17.0% (Mean-$L_1$), while selection-matched random-perturbation and compute-matched continued-pre-training controls yield no improvement. Post-training is thus a necessary stage that more pre-training does not replace. Per-position divergence measurements show that it slows error accumulation over 500-message rollouts from $3.1\times$ to $2.3\times$. Adversarial post-training is also inexpensive, requiring under 50M training tokens and 12 GPU-hours per seed, three orders of magnitude below the 48B-token pre-training budget. Ablations over critic inputs, optimizers, and the population-rollout trade-off, together with an analysis of reward hacking, yield practical design guidelines for adversarial post-training.