When a Correct Reward Is Not Enough: Diagnosing and Guiding PPO in an Analytically Solved Broker-Trader Game

📄 arXiv: 2610.03598v1 📥 PDF

作者: Siu Tung Wong, Carlo Campajola

分类: q-fin.TR, cs.AI

发布日期: 2026-10-02

备注: 8 pages; accepted for publication at ICAIF 2026

💡 一句话要点

在解析解决的经纪人-交易者游戏中诊断与指导PPO

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 强化学习 金融控制 近端策略优化 解析解 经纪人-交易者游戏 性能提升 自动化交易

📋 核心要点

  1. 现有的强化学习方法在复杂金融环境中难以有效利用解析解，导致学习效率低下。
  2. 论文提出将PPO代理置于解析解决的经纪人-交易者游戏中，通过推导奖励机制来引导学习过程。
  3. 实验结果显示，在特定条件下，PPO能够有效接近解析解，并在执行成本变化时实现性能提升。

📝 摘要（中文）

强化学习（RL）在金融最优控制问题中的应用日益增加，尤其是在复杂动态使得解析策略难以获得的情况下。本文将近端策略优化（PPO）代理置于一个解析解决的连续时间经纪人-交易者游戏中，PPO替代经纪人并选择交易速度。通过推导有限步奖励并验证其离散实现，研究发现，在无信息流的情况下，PPO-FFNN能够接近参考动作，而在随机无信息流的情况下，PPO-FFNN和PPO-LSTM的表现不佳。研究还表明，在部分信息下，基于可观察历史的因果确定性等价控制器表现优于PPO。最后，冻结解析策略并训练PPO以适应执行成本变化，结果显示成本减半时，PPO能够缩小与参考策略的差距。

🔬 方法详解

问题定义：本文旨在解决强化学习在复杂金融动态中难以有效利用解析解的问题，现有方法在面对随机无信息流时表现不佳。

核心思路：通过将PPO代理应用于解析解决的经纪人-交易者游戏，利用推导的有限步奖励来指导学习过程，从而提高学习效率。

技术框架：整体架构包括PPO代理、奖励机制的推导与验证、以及与解析解的对比分析。主要模块包括PPO-FFNN和PPO-LSTM的实现与评估。

关键创新：最重要的创新在于将解析解作为基准，提供了一个有效的诊断工具和适应性策略的起点，区别于传统RL方法的盲目探索。

关键设计：在参数设置上，采用了网格细化技术来验证离散实现的准确性，损失函数设计上考虑了与解析解的接近度，网络结构上使用了FFNN和LSTM以适应不同的市场动态。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果表明，在无信息流的情况下，PPO-FFNN能够接近参考动作，而在随机无信息流的情况下，PPO的表现显著低于基准。通过冻结解析策略并调整执行成本，PPO在成本减半时成功缩小了与参考策略的差距达2.22%。

🎯 应用场景

该研究的潜在应用领域包括金融市场的自动化交易系统、风险管理和投资策略优化。通过有效利用解析解，能够在复杂市场环境中提高决策的准确性和效率，具有重要的实际价值和未来影响。

📄 摘要（原文）

Reinforcement learning (RL) is increasingly used for financial optimal-control problems when complex dynamics make analytical strategies difficult to obtain. There are financial mathematics literactures which provides many solved models whose equations and controls could evaluate and guide learning; we ask whether RL can exploit these results. We place a proximal policy optimisation (PPO) agent in an analytically solved continuous-time broker--trader game. PPO replaces the broker and chooses its trading speed while interacting with an informed trader and stochastic uninformed order flow. We derive a finite-step reward from the broker's continuous-time payoff and verify its discrete implementation through grid refinement and an exact one-step identity. With zero uninformed flow, a validation-selected PPO--FFNN approaches the reference action. With stochastic uninformed flow, the tested PPO--FFNN and PPO--LSTM remain inaccurate, although supervised learning confirms that their actors can represent the action. Monte Carlo diagnostics show that their critics do not reliably rank nearby actions; potential-based reward shaping also gives no reliable improvement. Under partial information, a causal certainty-equivalent controller based on the broker's observable history remains close to the reference, while PPO has larger errors and lower payoffs. Finally, we freeze the analytical policy and train PPO to adjust it after the execution cost changes. Halving the cost yields a repeatable improvement that closes (2.22\%) of the gap to the changed-cost reference. The analytical solution therefore provides both a benchmark for diagnosing RL and a useful starting policy for adaptation.