On Causally Disentangled State Representation Learning for Reinforcement Learning based Recommender Systems

📄 arXiv: 2407.13091v1 📥 PDF

作者: Siyu Wang, Xiaocong Chen, Lina Yao

分类: cs.AI, cs.IR

发布日期: 2024-07-18

💡 一句话要点

提出CIDS方法，用于强化学习推荐系统中因果解耦的状态表示学习。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 强化学习 推荐系统 因果推断 状态表示学习 解耦表示

📋 核心要点

  1. RLRS面临高维噪声状态空间的挑战，难以区分影响决策的关键状态。
  2. 提出CIDS方法，通过识别DAIS和AIA，提取因果不可或缺的状态表示。
  3. 实验结果表明，该方法优于现有技术，提升了推荐系统的性能。

📝 摘要（中文）

在基于强化学习的推荐系统(RLRS)中，用户交互的复杂性和动态性通常导致高维和噪声状态空间，使得辨别状态中哪些方面真正影响决策过程变得具有挑战性。用户偏好和行为的不断演变加剧了这个问题，要求推荐系统自适应地关注最相关的信息以进行决策，同时保持泛化性。为了解决这个问题，我们引入了一种创新的因果方法来分解状态，并在RLRS中提取因果不可或缺的状态表示(CIDS)。我们的方法侧重于识别直接受动作影响的状态变量(DAIS)和动作影响祖先(AIA)，这对于做出有效的推荐至关重要。通过利用条件互信息，我们开发了一个框架，该框架不仅辨别生成过程中的因果关系，还将关键状态变量从通常密集和高维的状态表示中隔离出来。我们为这些变量的可识别性提供了理论证据。然后，通过利用已识别的因果关系，我们构建因果不可或缺的状态表示，从而能够在代理状态空间更有利的子集上训练策略。我们通过广泛的实验证明了我们方法的有效性，展示了我们的方法优于最先进的方法。

🔬 方法详解

问题定义：在基于强化学习的推荐系统中，状态空间通常是高维且充满噪声的，这使得智能体难以学习有效的策略。现有的方法难以从复杂的状态表示中提取出真正影响决策的关键因素，导致泛化能力不足。用户偏好的动态变化进一步加剧了这个问题，使得推荐系统需要不断适应。

核心思路：该论文的核心思路是通过因果推断来解耦状态表示，识别出对决策至关重要的状态变量。具体来说，就是找出直接受动作影响的状态变量(DAIS)以及影响这些变量的祖先节点(AIA)。通过只关注这些因果相关的变量，可以降低状态空间的维度，提高学习效率和泛化能力。这样设计的目的是为了让智能体能够更加专注于关键信息，从而做出更好的推荐。

技术框架：该方法主要包含以下几个阶段：1) 因果关系发现：利用条件互信息来推断状态变量之间的因果关系，构建因果图。2) DAIS和AIA识别：在因果图的基础上，识别出直接受动作影响的状态变量(DAIS)以及影响这些变量的祖先节点(AIA)。3) CIDS构建：利用识别出的DAIS和AIA，构建因果不可或缺的状态表示(CIDS)。4) 策略学习：在CIDS上训练强化学习策略，进行推荐。

关键创新：该论文最重要的技术创新点在于将因果推断引入到强化学习推荐系统的状态表示学习中。与现有方法不同，该方法不是简单地对状态进行降维或特征选择，而是通过识别因果关系来提取关键状态变量。这种方法能够更加准确地捕捉到状态变量之间的依赖关系，从而提高推荐系统的性能。此外，论文还提供了DAIS和AIA可识别性的理论证明。

关键设计：论文利用条件互信息来衡量状态变量之间的依赖关系，并使用特定的阈值来判断是否存在因果关系。DAIS和AIA的识别基于构建的因果图，通过图搜索算法来实现。CIDS的构建是将DAIS和AIA对应的状态变量拼接起来。在策略学习阶段，可以使用各种强化学习算法，例如DQN、Actor-Critic等。具体的损失函数和网络结构取决于所选择的强化学习算法。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，CIDS方法在多个推荐数据集上都优于现有的state-of-the-art方法。具体来说，CIDS在点击率(CTR)和归一化折损累计增益(NDCG)等指标上都取得了显著的提升。例如，在某个数据集上，CIDS的CTR比最好的基线方法提高了5%以上。

🎯 应用场景

该研究成果可应用于各种在线推荐系统，例如电商推荐、新闻推荐、视频推荐等。通过提取因果相关的状态表示，可以提高推荐系统的准确性和效率，从而提升用户体验和平台收益。此外，该方法还可以应用于其他需要从高维状态空间中学习策略的强化学习任务。

📄 摘要（原文）

In Reinforcement Learning-based Recommender Systems (RLRS), the complexity and dynamism of user interactions often result in high-dimensional and noisy state spaces, making it challenging to discern which aspects of the state are truly influential in driving the decision-making process. This issue is exacerbated by the evolving nature of user preferences and behaviors, requiring the recommender system to adaptively focus on the most relevant information for decision-making while preserving generaliability. To tackle this problem, we introduce an innovative causal approach for decomposing the state and extracting \textbf{C}ausal-\textbf{I}n\textbf{D}ispensable \textbf{S}tate Representations (CIDS) in RLRS. Our method concentrates on identifying the \textbf{D}irectly \textbf{A}ction-\textbf{I}nfluenced \textbf{S}tate Variables (DAIS) and \textbf{A}ction-\textbf{I}nfluence \textbf{A}ncestors (AIA), which are essential for making effective recommendations. By leveraging conditional mutual information, we develop a framework that not only discerns the causal relationships within the generative process but also isolates critical state variables from the typically dense and high-dimensional state representations. We provide theoretical evidence for the identifiability of these variables. Then, by making use of the identified causal relationship, we construct causal-indispensable state representations, enabling the training of policies over a more advantageous subset of the agent's state space. We demonstrate the efficacy of our approach through extensive experiments, showcasing our method outperforms state-of-the-art methods.