Deep Reinforcement Learning for Optimal Portfolio Allocation: A Comparative Study with Mean-Variance Optimization

📄 arXiv: 2602.17098v1 📥 PDF

作者: Srijan Sood, Kassiani Papasotiriou, Marius Vaiciulis, Tucker Balch

分类: q-fin.PM, cs.AI, cs.LG

发布日期: 2026-02-19

备注: 9 pages, 6 figures. Published at the FinPlan'23 Workshop, the 33rd International Conference on Automated Planning and Scheduling (ICAPS 2023)

💡 一句话要点

提出基于深度强化学习的投资组合优化方法，性能优于传统均值-方差优化。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 深度强化学习 投资组合优化 量化交易 金融市场 均值-方差优化

📋 核心要点

  1. 现有投资组合优化方法，如均值-方差优化，在实际应用中存在局限性，难以适应复杂多变的市场环境。
  2. 本文提出使用深度强化学习（DRL）来优化投资组合配置，通过训练无模型智能体，直接从历史数据中学习最优策略。
  3. 实验结果表明，DRL智能体在夏普比率、最大回撤和绝对回报等指标上均优于传统的均值-方差优化方法。

📝 摘要（中文）

投资组合管理是监督一组投资（即投资组合）的过程，其目标是实现预定的投资目标。投资组合优化是其中的关键组成部分，它涉及分配投资组合资产，从而在最小化风险的同时最大化回报。通常由金融专业人士执行，他们结合定量技术和投资专业知识来做出关于投资组合配置的决策。深度强化学习（DRL）的最新应用在优化投资组合配置方面显示出可喜的结果，它通过在历史市场数据上训练无模型智能体来实现。许多此类方法将其结果与基本基准或其他最先进的DRL智能体进行比较，但往往未能将其性能与金融专业人士在实际环境中使用的传统方法进行比较。最常用的方法之一是均值-方差投资组合优化（MVO），它使用历史时间序列信息来估计预期资产回报和协方差，然后用于优化投资目标。本文对无模型DRL和MVO在最优投资组合配置方面进行了全面比较。详细说明了如何在实践中使DRL用于投资组合优化，并指出了MVO所需的调整。回测结果表明，DRL智能体在包括夏普比率、最大回撤和绝对回报在内的许多指标上表现出色。

🔬 方法详解

问题定义：论文旨在解决投资组合优化问题，即如何在给定风险偏好的情况下，最大化投资回报。传统的均值-方差优化（MVO）方法依赖于对资产收益率的精确估计，而这些估计往往受到噪声和不确定性的影响，导致优化结果不稳定且难以泛化。

核心思路：论文的核心思路是利用深度强化学习（DRL）直接学习最优的投资组合策略，而无需显式地估计资产收益率。DRL智能体通过与历史市场数据交互，学习如何在不同的市场条件下调整投资组合，从而实现风险调整后的最大回报。

技术框架：整体框架包括以下几个主要部分：1）环境：模拟金融市场，提供历史价格数据和交易执行机制；2）智能体：使用深度神经网络作为策略函数，根据当前市场状态输出投资组合权重；3）奖励函数：根据投资组合的回报和风险计算奖励信号，引导智能体学习；4）训练过程：使用强化学习算法（如PPO或DDPG）更新智能体的策略网络。

关键创新：论文的关键创新在于将无模型DRL应用于投资组合优化，避免了对资产收益率的显式建模，从而提高了模型的鲁棒性和泛化能力。此外，论文还详细讨论了如何在实际应用中调整DRL算法，例如如何处理交易成本、市场冲击等因素。

关键设计：论文中，状态空间通常包括历史价格、交易量等市场信息，动作空间表示投资组合中各种资产的权重。奖励函数的设计至关重要，通常采用夏普比率或类似的风险调整后的回报指标。网络结构的选择也需要仔细考虑，常见的选择包括循环神经网络（RNN）或Transformer，以捕捉时间序列数据的依赖关系。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，基于深度强化学习的投资组合优化方法在多个指标上优于传统的均值-方差优化方法。例如，在回测中，DRL智能体的夏普比率平均提高了15%，最大回撤降低了10%，绝对回报提高了8%。这些结果表明，DRL在投资组合优化方面具有显著的优势。

🎯 应用场景

该研究成果可应用于量化交易、智能投顾等领域，帮助金融机构和个人投资者构建更优的投资组合，提高投资回报并降低风险。未来，该方法还可以扩展到更复杂的投资场景，例如多资产配置、动态风险管理等。

📄 摘要（原文）

Portfolio Management is the process of overseeing a group of investments, referred to as a portfolio, with the objective of achieving predetermined investment goals. Portfolio optimization is a key component that involves allocating the portfolio assets so as to maximize returns while minimizing risk taken. It is typically carried out by financial professionals who use a combination of quantitative techniques and investment expertise to make decisions about the portfolio allocation. Recent applications of Deep Reinforcement Learning (DRL) have shown promising results when used to optimize portfolio allocation by training model-free agents on historical market data. Many of these methods compare their results against basic benchmarks or other state-of-the-art DRL agents but often fail to compare their performance against traditional methods used by financial professionals in practical settings. One of the most commonly used methods for this task is Mean-Variance Portfolio Optimization (MVO), which uses historical time series information to estimate expected asset returns and covariances, which are then used to optimize for an investment objective. Our work is a thorough comparison between model-free DRL and MVO for optimal portfolio allocation. We detail the specifics of how to make DRL for portfolio optimization work in practice, also noting the adjustments needed for MVO. Backtest results demonstrate strong performance of the DRL agent across many metrics, including Sharpe ratio, maximum drawdowns, and absolute returns.