What Do Foundation Models for Market Microstructure Learn? A Controlled Study with Synthetic Limit Order Books
作者: Fernando Acero
分类: cs.LG
发布日期: 2026-10-14
备注: Accepted at ACM ICAIF 2026
💡 一句话要点
提出基于合成限价单簿的模型以优化市场微观结构预测
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 市场微观结构 限价单簿 自回归变换器 贝叶斯推断 金融科技 算法交易 风险管理
📋 核心要点
- 现有的市场微观结构模型难以评估其学习内容，因为真实市场的生成过程未知，导致输出真实性成为唯一评判标准。
- 本文通过在已知潜在参数的模拟器上训练模型，提出了一种新的方法来实现市场状态的贝叶斯推断，进而评估模型的学习效果。
- 实验结果显示，模型在非平稳市场中的预测能力接近贝叶斯最优，且在真实NASDAQ数据上实现了零样本迁移，超越了从头训练的基线。
📝 摘要（中文）
本文探讨了自回归变换器在限价单簿消息流中的应用，作为市场微观结构的基础模型。由于真实市场的生成过程未知，模型的评估只能基于输出的真实性。为了解决这一问题，作者通过在已知潜在参数的模拟器上训练GPT风格的模型，从而使得贝叶斯最优预测和生成状态成为参考。实验结果表明，模型在非平稳状态下的预测能力接近贝叶斯最优，且通过冻结激活可以线性解码潜在状态，显著提高了参数校准的准确性。研究还发现，模型的泛化能力主要依赖于训练机制的多样性，而非仅仅是数据量的大小。
🔬 方法详解
问题定义：本文旨在解决现有市场微观结构模型在真实市场生成过程未知情况下的评估问题，现有方法无法明确其学习内容。
核心思路：通过在已知潜在参数的合成限价单簿上训练GPT风格的自回归模型，利用贝叶斯最优预测作为参考，评估模型的学习效果。
技术框架：整体架构包括数据生成模块（合成限价单簿）、模型训练模块（自回归变换器）、以及评估模块（与贝叶斯最优预测对比）。
关键创新：最重要的创新在于通过冻结激活线性解码潜在市场状态，显著提高了参数校准的准确性，并且在非平稳状态下的预测能力接近贝叶斯最优。
关键设计：模型的训练过程中，采用了多样化的训练机制，而非单纯依赖于数据量的增加，损失函数设计为与贝叶斯最优预测的比较，确保了模型的有效性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，模型在非平稳市场中的预测能力与贝叶斯最优预测相差仅为每个token的毫微单位，并且在真实NASDAQ数据上实现了零样本迁移，接近领域内基线的表现，显示出显著的性能提升。
🎯 应用场景
该研究的潜在应用领域包括金融市场分析、算法交易和风险管理等。通过优化市场微观结构的预测能力，能够为交易策略的制定提供更为精准的依据，提升市场效率。未来，该模型可能在实时交易系统中得到广泛应用，推动金融科技的发展。
📄 摘要（原文）
Autoregressive transformers trained on limit order book (LOB) message streams are increasingly proposed as foundation models for market microstructure. Because the generative process of real markets is unknown, these models can be judged only by the realism of their output, leaving open what they actually learn. We make the question answerable by inverting the setup: we train GPT-style models on order flow from simulators whose latent parameters are known, so that the Bayes-optimal predictor, the generating state, and the exact data entropy serve as references. Measured against them, next-token pretraining on order flow implements amortized Bayesian inference over market regimes. The learned predictive matches the exact Bayes optimum to within a millinat per token and approaches the oracle floor even on a nonstationary family whose latent state drifts within an episode, a regime that requires filtering. The latent regime is linearly decodable from frozen activations, well above baselines, so a frozen-model read-out calibrates simulator parameters more accurately than windowed maximum likelihood at a fraction of the cost. In our experiments these capabilities are not produced by scale: capacity and token volume saturate early, and it is the diversity of training regimes, not the token count, that determines generalization to unseen markets. On real NASDAQ data, zero-shot transfer is set by how well the simulator prior covers real flow: an enriched mixture nearly closes the gap to an in-domain baseline, and pretraining beats from-scratch training at every budget across held-out tickers. Known ground truth turns average next-token loss, which is uninformative near the entropy floor, into an exact comparison against the Bayes-optimal and oracle predictors.