Deep Reinforcement Learning for Investor-Specific Portfolio Optimization: A Volatility-Guided Asset Selection Approach

📄 arXiv: 2505.03760v1 📥 PDF

作者: Arishi Orra, Aryan Bhambu, Himanshu Choudhary, Manoj Thakur, Selvaraju Natarajan

分类: q-fin.PM, cs.AI, math.OC

发布日期: 2025-04-20

💡 一句话要点

提出基于波动率引导的深度强化学习投资组合优化方法，实现投资者个性化资产配置

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 投资组合优化 深度强化学习 波动率预测 GARCH模型 风险管理 资产配置 量化交易

📋 核心要点

  1. 投资组合优化需要在动态市场条件下平衡风险和回报，现有方法难以兼顾适应性和投资者个性化偏好。
  2. 该研究提出一种波动率引导的DRL框架，利用GARCH模型预测股票波动率，并根据投资者风险偏好进行资产选择。
  3. 实验结果表明，该方法在道琼斯30指数股票上表现出色，能够产生优于基线策略的风险调整回报。

📝 摘要（中文）

本文提出了一种基于波动率引导的深度强化学习（DRL）投资组合优化框架，该框架能够根据投资者的风险偏好动态构建投资组合。该方法利用广义自回归条件异方差（GARCH）模型预测股票的波动率，并根据波动率将股票分为激进型、中等型和保守型。然后，DRL代理通过与历史市场数据交互，学习最优的投资策略。使用道琼斯30指数的股票验证了该方法的有效性。结果表明，所提出的基于投资者特定偏好的DRL投资组合，通过产生持续的风险调整回报，优于基线策略。

🔬 方法详解

问题定义：投资组合优化问题旨在动态分配资金，以在不断变化的市场条件下最大化回报并控制风险。现有的投资组合优化方法，尤其是在使用深度强化学习时，往往忽略了投资者特定的风险偏好，并且可能没有充分利用资产选择的预处理步骤来提高整体性能。因此，如何根据投资者的风险承受能力，预先选择合适的资产，并利用DRL进行动态优化，是一个关键问题。

核心思路：该论文的核心思路是首先使用GARCH模型预测股票的波动率，然后根据投资者的风险偏好（激进型、中等型、保守型）选择不同波动率水平的股票。接着，使用DRL代理学习一个最优的投资策略，该策略能够根据市场动态调整投资组合中各种资产的权重。通过这种方式，将投资者特定的风险偏好融入到投资组合构建过程中。

技术框架：整体框架包含以下几个主要阶段：1) 数据预处理：收集历史股票数据，包括价格、交易量等。2) 波动率预测：使用GARCH模型预测每只股票的波动率。3) 资产分类：根据波动率和投资者风险偏好，将股票分为激进型、中等型和保守型。4) DRL训练：使用历史市场数据训练DRL代理，目标是最大化风险调整后的回报。5) 投资组合构建：DRL代理根据当前市场状态和学习到的策略，动态调整投资组合中各种资产的权重。

关键创新：该论文的关键创新在于将波动率预测与DRL相结合，并将其应用于投资者特定的投资组合优化。通过使用GARCH模型进行波动率预测，该方法能够更好地理解股票的风险特征，并根据投资者的风险偏好进行资产选择。此外，使用DRL进行动态投资组合优化，能够适应不断变化的市场条件，并最大化风险调整后的回报。

关键设计：GARCH模型的参数选择需要根据具体的数据集进行调整。DRL代理的网络结构（例如，使用的神经网络类型和层数）和超参数（例如，学习率、折扣因子）需要进行仔细的调整，以获得最佳的性能。奖励函数的设计至关重要，需要平衡回报和风险。常用的奖励函数包括夏普比率等风险调整后的回报指标。状态空间需要包含足够的信息来描述市场状态，例如，股票价格、交易量、波动率等。动作空间定义了DRL代理可以采取的行动，例如，买入、卖出或持有各种资产。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，该方法在道琼斯30指数股票上表现出色，能够产生优于基线策略的风险调整回报。具体而言，该方法在多个风险指标上均优于传统的投资组合优化方法，例如，在夏普比率方面有显著提升，表明该方法能够在控制风险的同时，实现更高的回报。

🎯 应用场景

该研究成果可应用于智能投顾、量化交易等领域，为投资者提供个性化的投资组合优化方案。通过结合波动率预测和深度强化学习，能够更好地适应市场变化，提高投资回报，并有效控制风险。未来可扩展到更多资产类别和更复杂的市场环境，具有广阔的应用前景。

📄 摘要（原文）

Portfolio optimization requires dynamic allocation of funds by balancing the risk and return tradeoff under dynamic market conditions. With the recent advancements in AI, Deep Reinforcement Learning (DRL) has gained prominence in providing adaptive and scalable strategies for portfolio optimization. However, the success of these strategies depends not only on their ability to adapt to market dynamics but also on the careful pre-selection of assets that influence overall portfolio performance. Incorporating the investor's preference in pre-selecting assets for a portfolio is essential in refining their investment strategies. This study proposes a volatility-guided DRL-based portfolio optimization framework that dynamically constructs portfolios based on investors' risk profiles. The Generalized Autoregressive Conditional Heteroscedasticity (GARCH) model is utilized for volatility forecasting of stocks and categorizes them based on their volatility as aggressive, moderate, and conservative. The DRL agent is then employed to learn an optimal investment policy by interacting with the historical market data. The efficacy of the proposed methodology is established using stocks from the Dow $30$ index. The proposed investor-specific DRL-based portfolios outperformed the baseline strategies by generating consistent risk-adjusted returns.