Adversarial Batch Inverse Reinforcement Learning: Learn to Reward from Imperfect Demonstration for Interactive Recommendation
作者: Jialin Liu, Xinyan Su, Zeyu He, Xiangyu Zhao, Jun Li
分类: cs.LG, cs.IR
发布日期: 2023-10-30
💡 一句话要点
提出对抗性批量逆强化学习以解决不完美演示的奖励学习问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 逆强化学习 奖励学习 交互推荐 用户满意度 机器学习
📋 核心要点
- 现有方法要么增加复杂的学习程序，要么假设用户与代理的交互是完美的，这在实际应用中难以实现。
- 本文提出了一种新的批量逆强化学习方法，结合了折扣平稳分布修正，优化了奖励和策略的学习。
- 实验结果表明，该方法在有效性上提高了2.3%，在效率上提高了11.53%，展示了其优越性。
📝 摘要（中文）
奖励作为用户满意度的衡量标准，在交互推荐系统中起到限制因素的作用。本研究聚焦于奖励学习（LTR）问题，这是强化学习的基础。现有方法要么增加额外的学习程序，导致优化复杂度增加，要么假设用户与代理的交互提供完美演示，这在实际中并不可行。我们提出了一种新的批量逆强化学习范式，通过折扣平稳分布修正来结合LTR和推荐代理评估，解决了这一挑战。我们在两个真实世界的数据集上进行了实证研究，结果显示该方法在有效性上提高了2.3%，在效率上提高了11.53%。
🔬 方法详解
问题定义：本文解决的是如何从不完美的演示中学习奖励的问题。现有方法往往假设用户反馈是完美的，导致在实际应用中效果不佳。
核心思路：我们提出了一种新的批量逆强化学习范式，通过引入折扣平稳分布修正，结合奖励学习和推荐代理评估，旨在优化用户反馈的学习过程。
技术框架：该方法的整体架构包括奖励学习模块和策略评估模块。我们通过贝尔曼变换对奖励进行修正，并使用KL正则化来约束策略的连续更新。
关键创新：最重要的创新点在于引入了悲观主义的概念，通过保护性措施来满足组合要求，这与现有方法的假设有本质区别。
关键设计：在技术细节上，我们设计了特定的损失函数来实现奖励的修正，并设置了合适的超参数以确保模型的稳定性和收敛性。我们还采用了KL正则化来控制策略更新的幅度。
🖼️ 关键图片
📊 实验亮点
实验结果显示，所提出的方法在有效性上相较于基线提高了2.3%，在效率上提高了11.53%。这些结果表明，该方法在处理不完美演示的奖励学习问题上具有显著的优势。
🎯 应用场景
该研究的潜在应用领域包括个性化推荐系统、在线广告投放和用户行为分析等。通过优化奖励学习过程，可以显著提升用户满意度和系统的推荐效果，具有重要的实际价值和广泛的应用前景。
📄 摘要（原文）
Rewards serve as a measure of user satisfaction and act as a limiting factor in interactive recommender systems. In this research, we focus on the problem of learning to reward (LTR), which is fundamental to reinforcement learning. Previous approaches either introduce additional procedures for learning to reward, thereby increasing the complexity of optimization, or assume that user-agent interactions provide perfect demonstrations, which is not feasible in practice. Ideally, we aim to employ a unified approach that optimizes both the reward and policy using compositional demonstrations. However, this requirement presents a challenge since rewards inherently quantify user feedback on-policy, while recommender agents approximate off-policy future cumulative valuation. To tackle this challenge, we propose a novel batch inverse reinforcement learning paradigm that achieves the desired properties. Our method utilizes discounted stationary distribution correction to combine LTR and recommender agent evaluation. To fulfill the compositional requirement, we incorporate the concept of pessimism through conservation. Specifically, we modify the vanilla correction using Bellman transformation and enforce KL regularization to constrain consecutive policy updates. We use two real-world datasets which represent two compositional coverage to conduct empirical studies, the results also show that the proposed method relatively improves both effectiveness (2.3\%) and efficiency (11.53\%)