HARLF: Hierarchical Reinforcement Learning and Lightweight LLM-Driven Sentiment Integration for Financial Portfolio Optimization

📄 arXiv: 2507.18560v1 📥 PDF

作者: Benjamin Coriat, Eric Benhamou

分类: q-fin.PM, cs.AI

发布日期: 2025-07-24

💡 一句话要点

提出HARLF框架，结合轻量级LLM和分层强化学习优化金融投资组合。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 投资组合优化 强化学习 大型语言模型 情绪分析 金融市场

📋 核心要点

  1. 现有投资组合优化方法难以有效融合市场数据和金融新闻中的情绪信息，导致投资决策不够精准。
  2. HARLF框架通过分层强化学习结构，结合轻量级LLM提取的情绪信号，实现更稳健和高效的投资组合优化。
  3. 实验结果表明，该框架在2018-2024年的数据上实现了26%的年化回报率和1.2的夏普比率，超越了传统基准。

📝 摘要（中文）

本文提出了一种新颖的投资组合优化分层框架，该框架将轻量级大型语言模型（LLM）与深度强化学习（DRL）相结合，以整合来自金融新闻的情绪信号和传统的市场指标。我们的三层架构采用基础强化学习代理来处理混合数据，元代理来聚合它们的决策，以及一个超级代理来合并基于市场数据和情绪分析的决策。在2018年至2024年的数据上进行评估（在2000-2017年进行训练后），该框架实现了26%的年化回报率和1.2的夏普比率，优于等权重和标准普尔500指数基准。主要贡献包括可扩展的跨模态集成、用于增强稳定性的分层强化学习结构以及开源可复现性。

🔬 方法详解

问题定义：论文旨在解决金融投资组合优化问题，现有方法难以有效整合市场数据和金融新闻的情绪信息。传统方法通常依赖于历史市场数据，忽略了新闻情绪对市场的影响，导致投资决策可能不够及时和准确。此外，直接将LLM应用于高频交易面临计算资源和延迟的挑战。

核心思路：论文的核心思路是构建一个分层强化学习框架，利用轻量级LLM提取金融新闻的情绪信号，并将其与市场数据相结合，从而做出更明智的投资决策。通过分层结构，将复杂的决策过程分解为多个层次，降低了学习难度，提高了模型的稳定性和可扩展性。

技术框架：HARLF框架采用三层架构：1) 基础RL代理：处理混合数据（市场数据和情绪信号）；2) 元代理：聚合基础RL代理的决策；3) 超级代理：基于市场数据和情绪分析，合并元代理的决策。轻量级LLM负责从金融新闻中提取情绪信号，并将其作为输入传递给RL代理。整个框架通过强化学习算法进行训练，以最大化投资组合的回报。

关键创新：该框架的关键创新在于：1) 可扩展的跨模态集成：有效融合了市场数据和来自LLM的情绪信号；2) 分层强化学习结构：提高了模型的稳定性和可扩展性，降低了学习难度；3) 轻量级LLM的应用：在保证性能的同时，降低了计算成本和延迟。

关键设计：论文使用了轻量级的LLM，可能是预训练模型的一个子集或者蒸馏版本，以降低计算复杂度。强化学习代理可能采用Actor-Critic或者DQN等算法。损失函数的设计目标是最大化投资组合的收益，同时考虑风险因素，例如夏普比率。具体的网络结构和参数设置在论文中可能有所描述，但摘要中未提及。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

该框架在2018年至2024年的数据上进行了评估，实现了26%的年化回报率和1.2的夏普比率，显著优于等权重和标准普尔500指数基准。这些结果表明，该框架能够有效地利用市场数据和情绪信号，做出更明智的投资决策。

🎯 应用场景

该研究成果可应用于量化交易、智能投顾等金融领域，帮助投资者更有效地管理投资组合，提高投资回报。通过整合新闻情绪，该框架能够更好地捕捉市场动态，降低投资风险。未来，该方法有望扩展到其他金融市场和资产类别。

📄 摘要（原文）

This paper presents a novel hierarchical framework for portfolio optimization, integrating lightweight Large Language Models (LLMs) with Deep Reinforcement Learning (DRL) to combine sentiment signals from financial news with traditional market indicators. Our three-tier architecture employs base RL agents to process hybrid data, meta-agents to aggregate their decisions, and a super-agent to merge decisions based on market data and sentiment analysis. Evaluated on data from 2018 to 2024, after training on 2000-2017, the framework achieves a 26% annualized return and a Sharpe ratio of 1.2, outperforming equal-weighted and S&P 500 benchmarks. Key contributions include scalable cross-modal integration, a hierarchical RL structure for enhanced stability, and open-source reproducibility.