A Deep Reinforcement Learning Approach for Interactive Search with Sentence-level Feedback

📄 arXiv: 2310.03043v1 📥 PDF

作者: Jianghong Zhou, Joyce C. Ho, Chen Lin, Eugene Agichtein

分类: cs.LG, cs.AI, cs.HC, cs.IR

发布日期: 2023-10-03

备注: 9 pages, 7 figures, DRL4IR@CIKM

💡 一句话要点

提出DQrank以解决交互搜索中的句子级反馈问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 交互搜索 深度强化学习 句子级反馈 BERT模型 用户参与度 经验重放机制 搜索系统

📋 核心要点

  1. 现有的强化学习方法主要关注项级反馈，忽视了句子级反馈的细粒度信息，导致搜索准确性不足。
  2. 本文提出DQrank方法，利用BERT模型选择关键句子并进行排名，同时引入经验重放机制以优化动作探索。
  3. 实验结果显示DQrank在三个数据集上表现优于之前的最先进方法，提升幅度至少为12%。

📝 摘要（中文）

交互搜索通过用户的交互反馈提供更好的体验，显著提高搜索准确性。然而，现有的最先进系统主要关注项级反馈，忽视了句子级反馈中的细粒度信息。本文提出了一种新的深度Q学习方法DQrank，结合BERT模型，根据用户的参与度选择关键句子并对项目进行排名，从而获得更满意的响应。DQrank还引入了经验重放机制，以存储反馈句子，提升初始排名性能。实验结果表明，DQrank在三个搜索数据集上表现至少提高了12%。

🔬 方法详解

问题定义：本文旨在解决交互搜索中对句子级反馈的忽视，现有方法主要依赖于项级反馈，无法充分利用用户的细粒度交互信息。

核心思路：DQrank通过深度Q学习模型，结合BERT技术，选择用户参与度高的关键句子，并对搜索结果进行更精准的排名，从而提升用户满意度。

技术框架：DQrank的整体架构包括用户反馈的收集、句子选择、项目排名和经验重放机制。首先，系统收集用户的句子级反馈，然后利用BERT模型提取关键句子，最后通过深度Q学习进行排名优化。

关键创新：DQrank的主要创新在于将句子级反馈引入强化学习框架，利用BERT模型进行句子选择，并通过经验重放机制提升初始排名性能，这在现有方法中尚属首次。

关键设计：DQrank采用了特定的损失函数来优化排名效果，同时在网络结构中引入了BERT的预训练权重，以增强句子特征的表达能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，DQrank在三个不同的搜索数据集上表现出色，至少比之前的最先进强化学习方法提高了12%的性能，验证了其在句子级反馈处理上的有效性。

🎯 应用场景

该研究的潜在应用领域包括搜索引擎、推荐系统和智能助手等，能够显著提升用户的搜索体验和满意度。未来，DQrank可能推动更智能的交互搜索系统的发展，促进人机交互的进一步优化。

📄 摘要（原文）

Interactive search can provide a better experience by incorporating interaction feedback from the users. This can significantly improve search accuracy as it helps avoid irrelevant information and captures the users' search intents. Existing state-of-the-art (SOTA) systems use reinforcement learning (RL) models to incorporate the interactions but focus on item-level feedback, ignoring the fine-grained information found in sentence-level feedback. Yet such feedback requires extensive RL action space exploration and large amounts of annotated data. This work addresses these challenges by proposing a new deep Q-learning (DQ) approach, DQrank. DQrank adapts BERT-based models, the SOTA in natural language processing, to select crucial sentences based on users' engagement and rank the items to obtain more satisfactory responses. We also propose two mechanisms to better explore optimal actions. DQrank further utilizes the experience replay mechanism in DQ to store the feedback sentences to obtain a better initial ranking performance. We validate the effectiveness of DQrank on three search datasets. The results show that DQRank performs at least 12% better than the previous SOTA RL approaches. We also conduct detailed ablation studies. The ablation results demonstrate that each model component can efficiently extract and accumulate long-term engagement effects from the users' sentence-level feedback. This structure offers new technologies with promised performance to construct a search system with sentence-level interaction.