CLaC@FinMMEval 2026 Task 3: Sentiment-Augmented Deep Reinforcement Learning for Active Trading -- An Alpha-Reward Approach
作者: Andrei Neagu, Eeham Khan, Leila Kosseim
分类: cs.LG
发布日期: 2026-07-20
💡 一句话要点
提出情感增强深度强化学习以解决主动交易问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 深度强化学习 主动交易 情感分析 市场预测 金融科技 比特币 特斯拉 超额回报
📋 核心要点
- 现有的交易策略往往难以适应市场环境的变化，特别是在牛市和熊市之间的转变。
- 论文提出了一种基于情感分析的深度强化学习方法，通过引入alpha奖励来优化交易决策。
- 实验结果表明，DDPG在测试集上表现最佳，显著超越了传统的买入持有策略，尤其是在TSLA交易中。
📝 摘要（中文）
本文介绍了我们在CLEF 2026 FinMMEval实验室第三任务中的系统，该任务要求基于新闻和历史市场数据进行比特币（BTC）和特斯拉（TSLA）的每日长、平或短交易决策。我们将问题表述为离散动作的马尔可夫决策过程，并比较了四种深度强化学习算法：策略梯度（PG）、近端策略优化（PPO）、深度Q学习（DQL）和深度确定性策略梯度（DDPG）。为了减少过拟合并使训练目标与超越买入持有策略一致，我们引入了基于超额市场回报的alpha奖励，并随机化了回合开始日期。在CLEF任务3测试集中，DDPG表现最佳，而DQL因其最高的验证夏普比率被选为实时端点。结果显示，DDPG和DQL在TSLA上的累计回报分别为54.96%和52.62%，而买入持有为16.45%。
🔬 方法详解
问题定义：本文旨在解决基于新闻和历史市场数据进行主动交易决策的问题。现有方法在市场环境变化时表现不佳，尤其是牛市与熊市之间的转变。
核心思路：论文提出了一种情感增强的深度强化学习框架，通过引入alpha奖励机制来优化交易策略，使其能够超越传统的买入持有策略。
技术框架：整体架构包括数据预处理、特征提取（技术指标、周期性日历编码、情感得分）、模型训练（使用PG、PPO、DQL和DDPG算法）和策略评估（基于验证夏普比率进行模型选择）。
关键创新：引入了基于超额市场回报的alpha奖励机制，这是与现有方法的本质区别，旨在提高策略的适应性和收益。
关键设计：在超参数优化方面，使用Ray Tune进行180次试验，并采用早停法和基于验证夏普比率的模型选择。
🖼️ 关键图片
📊 实验亮点
实验结果显示，DDPG在TSLA上的累计回报达到54.96%，而DQL为52.62%，均显著高于买入持有的16.45%。在BTC交易中，DDPG实现了1.58%的正回报，而买入持有则下降了34.27%。
🎯 应用场景
该研究的潜在应用领域包括金融市场的自动化交易系统，尤其是在加密货币和股票市场。通过情感分析和深度强化学习的结合，可以提高交易策略的适应性和收益，具有重要的实际价值和未来影响。
📄 摘要（原文）
This paper presents our system for Task 3 of the CLEF 2026 FinMMEval Lab, which requires daily long, flat, or short trading decisions for Bitcoin (BTC) and Tesla (TSLA) using news and historical market data. We formulate the problem as a discrete-action Markov Decision Process and compare four deep reinforcement learning algorithms: Policy Gradient (PG), Proximal Policy Optimization (PPO), Deep Q-Learning (DQL), and Deep Deterministic Policy Gradient (DDPG). The agents use technical indicators, cyclical calendar encodings, and daily news sentiment scores produced by LLaMA 3.2 1B. To reduce overfitting and align training with the objective of outperforming buy-and-hold, we introduce an alpha reward based on excess market return and randomize episode start dates. Hyperparameters are optimized with Ray Tune over 180 trials per algorithm-asset pair, with early stopping and model selection based on validation Sharpe ratio. On the CLEF Task 3 test set, DDPG achieves the strongest overall performance. DQL was selected a priori for the live endpoint because it obtained the highest validation Sharpe ratio, with selection performed without access to the test period. For TSLA, DDPG and DQL achieve cumulative returns of 54.96% and 52.62%, respectively, compared with 16.45% for buy-and-hold. For BTC, DDPG achieves a positive return of 1.58% while buy-and-hold declines by -34.27%. The results also reveal a substantial validation-to-test generalization gap, highlighting the difficulty of transferring policies selected in bull-market conditions to a bear-market regime.