Hierarchical Reinforcement Learning for Temporal Abstraction of Listwise Recommendation

📄 arXiv: 2409.07416v2 📥 PDF

作者: Luo Ji, Gao Liu, Mingyang Yin, Hongxia Yang, Jingren Zhou

分类: cs.IR, cs.AI, cs.LG

发布日期: 2024-09-11 (更新: 2025-07-19)

备注: 18 pages, 4 figures

💡 一句话要点

提出mccHRL框架，通过分层强化学习进行列表推荐中的时序抽象，提升推荐效果。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 分层强化学习 列表推荐 时序抽象 用户偏好建模 序列决策

📋 核心要点

  1. 列表推荐系统面临用户长期偏好和短期兴趣动态变化的挑战，传统方法难以有效建模这种复杂性。
  2. mccHRL框架通过分层强化学习，将用户行为分解为会话内和会话外两个层次，分别由低层和高层智能体建模。
  3. 实验结果表明，mccHRL在模拟环境和工业数据集上均优于现有基线方法，验证了其有效性。

📝 摘要（中文）

现代列表推荐系统需要同时考虑用户的长期偏好和短期兴趣变化。强化学习可以应用于推荐系统以解决此类问题，但面临搜索空间大、用户反馈稀疏和交互延迟长等挑战。受分层强化学习最新进展的启发，我们提出了一种名为mccHRL的新框架，为列表推荐提供不同层次的时序抽象。在该分层框架中，高层智能体学习用户偏好的演变，而低层智能体通过将该过程建模为序列决策问题来产生物品选择策略。我们认为，该框架对会话外上下文和会话内上下文进行了明确的分解，分别由高层和低层智能体编码。为了验证这一论点，我们实现了基于模拟器的环境和基于工业数据集的实验。结果表明，与几种著名的基线方法相比，我们的方法在性能上有了显著提高。数据和代码已公开。

🔬 方法详解

问题定义：列表推荐系统需要根据用户的历史行为和当前状态，推荐一个物品列表。现有方法难以有效捕捉用户长期偏好和短期兴趣的动态变化，导致推荐效果不佳。强化学习虽然可以解决这个问题，但面临搜索空间巨大、用户反馈稀疏以及交互延迟长等挑战。

核心思路：本文的核心思路是利用分层强化学习（Hierarchical Reinforcement Learning, HRL）对用户行为进行时序抽象。将推荐过程分解为两个层次：高层智能体负责学习用户的长期偏好演变（会话外上下文），低层智能体负责根据当前状态选择物品（会话内上下文）。通过这种分解，可以有效地降低搜索空间，并更好地捕捉用户行为的动态性。

技术框架：mccHRL框架包含两个主要模块：高层智能体和低层智能体。高层智能体接收用户的长期行为信息，输出一个目标状态或策略，指导低层智能体的行为。低层智能体接收高层智能体的目标状态，并根据当前的用户状态，选择一个物品列表进行推荐。整个框架通过强化学习进行训练，高层智能体和低层智能体共同优化推荐效果。

关键创新：mccHRL的关键创新在于将分层强化学习应用于列表推荐，并明确地分解了会话内和会话外上下文。这种分解使得模型能够更好地捕捉用户行为的动态性，并降低了搜索空间。与传统的强化学习方法相比，mccHRL能够更有效地学习用户的长期偏好和短期兴趣。

关键设计：高层智能体可以使用RNN等模型来编码用户的长期行为信息，并输出一个目标状态或策略。低层智能体可以使用DQN或Actor-Critic等算法来选择物品列表。损失函数可以采用标准的强化学习损失函数，例如TD-error或Policy Gradient。为了平衡探索和利用，可以使用ε-greedy或Softmax等策略。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，mccHRL在模拟环境和工业数据集上均优于现有的基线方法。在工业数据集上，mccHRL相比于表现最佳的基线方法，在Recall@K和NDCG@K等指标上均有显著提升。这些结果验证了mccHRL在列表推荐中的有效性。

🎯 应用场景

该研究成果可应用于各种在线推荐系统，例如电商、新闻、视频等平台。通过更有效地捕捉用户长期偏好和短期兴趣，可以提高推荐的准确性和用户满意度，从而提升平台的商业价值。此外，该方法还可以扩展到其他序列决策问题，例如对话系统和机器人控制。

📄 摘要（原文）

Modern listwise recommendation systems need to consider both long-term user perceptions and short-term interest shifts. Reinforcement learning can be applied on recommendation to study such a problem but is also subject to large search space, sparse user feedback and long interactive latency. Motivated by recent progress in hierarchical reinforcement learning, we propose a novel framework called mccHRL to provide different levels of temporal abstraction on listwise recommendation. Within the hierarchical framework, the high-level agent studies the evolution of user perception, while the low-level agent produces the item selection policy by modeling the process as a sequential decision-making problem. We argue that such framework has a well-defined decomposition of the outra-session context and the intra-session context, which are encoded by the high-level and low-level agents, respectively. To verify this argument, we implement both a simulator-based environment and an industrial dataset-based experiment. Results observe significant performance improvement by our method, compared with several well-known baselines. Data and codes have been made public.