PPO-HRAP: Proximal Policy Optimization with a Hybrid Regime-Aware Policy for Risk-Controlled Trading

📄 arXiv: 2610.01325v1 📥 PDF

作者: Duong Hien Chi Kien, Thanh Trung Huynh

分类: cs.AI, q-fin.TR

发布日期: 2026-10-01

备注: 8 pages, 6 figures, 8 tables. Code: https://github.com/chikien07012006/PPO_Regime-Aware-Trading

💡 一句话要点

提出PPO-HRAP以解决风险控制交易中的收益与回撤平衡问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 强化学习 风险控制 交易策略 市场状态感知 近端策略优化 收益管理 资产配置

📋 核心要点

  1. 现有的交易强化学习方法难以在收益和风险控制之间取得良好平衡，导致策略在不同市场环境下表现不佳。
  2. PPO-HRAP通过引入混合的市场状态感知策略，结合了近端策略优化与可解释的市场状态先验，以改善风险调整后的交易行为。
  3. 在多个实验中，PPO-HRAP在总回报和夏普比率上均优于基线策略，显示出其在风险控制和收益获取方面的有效性。

📝 摘要（中文）

强化学习在交易中常常面临收益参与与回撤控制之间的平衡挑战。单纯追求利润的策略可能导致在上涨资产中被动持有，而过于激进的风险惩罚奖励则可能在波动期过于防守。本文提出了PPO-HRAP，一种结合了近端策略优化与可解释的市场状态先验的混合策略。该代理观察市场特征和投资组合状态变量，接收结合投资组合对数收益、VIX条件下的回撤惩罚、目标暴露偏差和交易成本的奖励，并在PPO演员输出与市场状态导出的目标暴露之间执行混合动作。在2020-2022年SPY测试窗口中，PPO-HRAP实现了27.62%的总回报，8.48%的年化回报，0.6447的夏普比率，0.8588的Sortino比率，以及0.4592的Calmar比率，同时将最大回撤从34.10%降低至18.47%。

🔬 方法详解

问题定义：本文旨在解决强化学习在交易中收益与回撤控制之间的矛盾。现有方法往往在追求利润时忽视风险，导致策略在波动市场中表现不佳。

核心思路：PPO-HRAP通过结合市场状态先验与近端策略优化，设计了一种混合策略，使得代理能够在不同市场环境下灵活调整其交易行为，以实现更好的风险控制与收益获取。

技术框架：该方法的整体架构包括市场特征观察模块、投资组合状态变量处理模块、奖励计算模块以及混合动作执行模块。代理通过观察市场特征和投资组合状态，计算综合奖励，并在PPO输出与市场状态导出的目标暴露之间进行动作选择。

关键创新：PPO-HRAP的主要创新在于引入了可解释的市场状态先验，使得策略能够根据市场波动情况动态调整，从而在风险控制与收益获取之间取得更好的平衡。这一设计与传统的单一策略优化方法有本质区别。

关键设计：在奖励设计上，结合了投资组合对数收益、VIX条件下的回撤惩罚、目标暴露偏差和交易成本。此外，策略的参数设置和网络结构经过精心设计，以确保在不同市场条件下的稳定性与有效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

PPO-HRAP在2020-2022年SPY测试窗口中实现了27.62%的总回报和8.48%的年化回报，夏普比率为0.6447，最大回撤从34.10%降低至18.47%。在多个资产的单次运行测试中，该方法在总回报和夏普比率上均表现优异，显示出其在风险控制方面的有效性。

🎯 应用场景

PPO-HRAP的研究成果在金融交易领域具有广泛的应用潜力，尤其是在高频交易、资产配置和风险管理等方面。通过提高风险调整后的收益表现，该方法能够为投资者提供更为稳健的交易策略，未来可能在实际交易系统中得到应用。

📄 摘要（原文）

Reinforcement learning for trading often struggles to balance upside participation with drawdown control. Profit-only policies can collapse toward passive long exposure on upward-drifting assets, while aggressively risk-penalized rewards can become too defensive during volatile periods. This paper proposes PPO-HRAP, a hybrid regime-aware policy that combines Proximal Policy Optimization with an interpretable regime prior. The agent observes both market features and portfolio-state variables, receives a reward combining portfolio log return, VIX-conditioned drawdown-increase penalty, target-exposure deviation, and turnover cost, and executes a blended action between the PPO actor output and a regime-derived target exposure. On the held-out 2020-2022 SPY test window, PPO-HRAP achieves 27.62% total return, 8.48% annualized return, 0.6447 Sharpe ratio, 0.8588 Sortino ratio, and 0.4592 Calmar ratio, while reducing maximum drawdown from 34.10% for Buy and Hold to 18.47%. Across five SPY seeds, PPO-HRAP remains stable with mean total return $0.2725 \pm 0.0109$ and mean Sharpe ratio $0.6219 \pm 0.0565$. Single-run cross-asset tests on QQQ and DIA further show that the proposed method ranks first on total return and Sharpe ratio for all three reported assets. These results suggest that blending learned actions with a volatility-aware regime prior is a practical way to improve risk-adjusted trading behavior, although the current policy still incurs high turnover and cross-asset robustness beyond SPY remains limited to single-run evidence.