Reinforcement Learning with Conformal Action Sets: An Application to Sequential Recommendation

📄 arXiv: 2610.08743v1 📥 PDF

作者: Wenwen Si, Honghao Wei

分类: cs.LG, cs.AI

发布日期: 2026-10-06

💡 一句话要点

提出RLCP以解决序列推荐中的固定动作集问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 序列推荐 强化学习 动态动作集 校准剪枝 用户反馈 推荐系统 价值损失分解

📋 核心要点

  1. 现有的序列推荐方法通常使用固定的候选集大小，无法适应会话中有用选项数量的变化，导致推荐效果不佳。
  2. 论文提出的RLCP方法通过动态调整保留的动作集，利用评论者评分和在线阈值来优化推荐过程，提高了推荐的灵活性和准确性。
  3. 实验结果显示，RLCP在多个配置下的目录多样性显著提升，达到最强基线的1.11倍至5.21倍，同时保持了竞争力的会话深度。

📝 摘要（中文）

序列推荐系统通常使用固定的候选集大小，尽管在会话中有用的替代选项数量会变化。我们提出了带有校准剪枝的强化学习（RLCP），通过使用评论者评分和在线阈值来调整保留的动作集。该阈值根据二元反馈进行更新，指示该集合中是否包含代理目标的动作。我们证明了在自适应轨迹下观察到的代理错过率的确定性界限。为了量化剪枝对奖励的影响，我们推导了价值损失的确切分解，分为过滤损失和选择损失。在明确的代理和评论者近似条件下，该分解得出了有限的会话奖励界限，同时考虑了不完美选择和集合截断，而不要求学习参数收敛。实验在KuaiRand-Pure和MovieLens 1M上比较了两种RLCP实现与四个RL基线。在19种配置中，至少有一种RLCP变体实现了最高的目录多样性，达到了最强基线的1.11倍至5.21倍，且会话深度具有竞争力，保留的集合没有增大。

🔬 方法详解

问题定义：本论文旨在解决序列推荐系统中固定候选集大小的问题。现有方法未能考虑会话中有用选项数量的变化，导致推荐效果受限。

核心思路：论文提出的RLCP方法通过动态调整保留的动作集，结合评论者评分和在线阈值，能够更好地适应用户的需求和偏好，从而提升推荐质量。

技术框架：RLCP的整体架构包括动作集的动态调整模块、评论者评分计算模块和在线阈值更新模块。通过这些模块的协同工作，系统能够实时优化推荐结果。

关键创新：RLCP的主要创新在于引入了校准剪枝机制，通过更新阈值来适应用户反馈，从而有效降低代理错过率，并且在不要求学习参数收敛的情况下实现了奖励的有限界限。

关键设计：在RLCP中，关键参数包括在线阈值的更新策略和评论者评分的计算方式。此外，论文还详细讨论了价值损失的分解方法，确保了剪枝对奖励的影响能够被准确量化。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

实验结果表明，RLCP在19种配置中至少有一种变体实现了最高的目录多样性，达到了最强基线的1.11倍至5.21倍，同时保持了良好的会话深度，显示出其在推荐系统中的有效性和优势。

🎯 应用场景

该研究的潜在应用领域包括电子商务、在线内容推荐和社交媒体等，能够帮助平台更好地理解用户需求，提供个性化的推荐服务。未来，RLCP方法有望在更广泛的推荐场景中得到应用，提升用户体验和满意度。

📄 摘要（原文）

Sequential recommenders typically use a fixed slate size even though the number of useful alternatives changes within a session. We propose Reinforcement Learning with Calibrated Pruning (RLCP), which adapts the retained action set using critic scores and an online threshold. The threshold is updated from binary feedback indicating whether the set contains an action in a proxy target. We prove a deterministic bound on the observed proxy miss rate along adaptive trajectories. To quantify the effect of pruning on reward, we derive an exact decomposition of value loss into filtering and selection losses. Under explicit proxy and critic approximation conditions, this decomposition yields a finite session reward bound that also accounts for imperfect selection and set truncation, without requiring the learning parameters to converge. Experiments on KuaiRand-Pure and MovieLens 1M compare two RLCP implementations with four RL baselines. In each of the 19 configurations, at least one RLCP variant achieves the highest catalog diversity, reaching $1.11\times$ to $5.21\times$ that of the strongest baseline, with competitive session depth and no larger retained sets.