Forecasting Live Chat Intent from Browsing History
作者: Se-eun Yoon, Ahmad Bin Rabiah, Zaid Alibadi, Surya Kallumadi, Julian McAuley
分类: cs.CL, cs.AI, cs.IR
发布日期: 2024-08-07 (更新: 2024-09-01)
备注: CIKM 2024
💡 一句话要点
提出一种两阶段方法，通过浏览历史预测在线客服的用户意图。
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 用户意图预测 在线客服 浏览历史 Transformer 大型语言模型
📋 核心要点
- 现有方法难以准确预测用户在线客服意图，尤其是在仅有浏览历史的情况下。
- 提出一种两阶段方法，首先进行粗粒度意图分类，再利用LLM生成细粒度意图。
- 实验表明，该方法显著优于直接生成意图的方法，且自动评估与人工评估结果一致。
📝 摘要（中文）
本文提出通过浏览历史预测在线客服用户意图的问题，例如询问产品详情或请求退货。我们采用两阶段方法解决此问题。第一阶段将用户浏览历史分类为高级意图类别，将每个浏览历史表示为页面属性的文本序列，并使用真实标签微调预训练的Transformer模型。第二阶段为大型语言模型（LLM）提供浏览历史和预测的意图类别，以生成细粒度的意图。为了自动评估，我们使用单独的LLM来判断生成意图与真实意图之间的相似性，这与人工判断高度一致。与不使用分类阶段直接生成意图相比，我们的两阶段方法产生了显著的性能提升。
🔬 方法详解
问题定义：论文旨在解决在线客服场景下，如何仅通过用户的浏览历史准确预测其意图的问题。现有方法可能无法有效利用浏览历史中的信息，或者难以生成足够细粒度的意图描述，导致客服人员无法快速理解用户需求。
核心思路：论文的核心思路是将意图预测分解为两个阶段：首先进行粗粒度的意图分类，然后利用大型语言模型（LLM）结合浏览历史和粗粒度意图，生成细粒度的意图描述。这种分阶段的方法可以更好地利用浏览历史信息，并借助LLM的生成能力，提高意图预测的准确性和细粒度。
技术框架：整体框架包含两个主要阶段：1) 意图分类阶段：将用户的浏览历史表示为页面属性的文本序列，使用预训练的Transformer模型进行微调，以预测用户的高级意图类别。2) 意图生成阶段：将用户的浏览历史和第一阶段预测的意图类别作为输入，提供给大型语言模型（LLM），由LLM生成细粒度的用户意图描述。此外，论文还使用另一个LLM进行自动评估，判断生成意图与真实意图的相似度。
关键创新：该方法的主要创新在于将意图预测问题分解为分类和生成两个阶段，并利用预训练的Transformer模型和大型语言模型（LLM）的优势。与直接使用LLM生成意图相比，先进行意图分类可以提供更强的先验信息，引导LLM生成更准确的意图描述。此外，使用LLM进行自动评估也是一个创新点，可以有效降低人工评估的成本。
关键设计：在意图分类阶段，浏览历史被表示为页面属性的文本序列，例如页面标题、关键词等。Transformer模型的微调采用交叉熵损失函数。在意图生成阶段，LLM的具体选择和prompt设计是关键。自动评估阶段，LLM的相似度判断标准需要仔细设计，以保证与人工评估的一致性。具体参数设置和模型选择在论文中可能未详细说明，属于未知信息。
🖼️ 关键图片
📊 实验亮点
论文提出的两阶段方法在用户意图预测任务上取得了显著的性能提升。与直接使用LLM生成意图相比，该方法能够更准确地预测用户意图，并且自动评估结果与人工评估结果高度一致。具体的性能数据和提升幅度在摘要中未给出，属于未知信息。
🎯 应用场景
该研究成果可应用于在线客服系统，帮助客服人员快速理解用户意图，提高服务效率和用户满意度。通过准确预测用户意图，系统可以自动推荐相关产品或解决方案，减少人工干预，降低运营成本。未来，该技术还可扩展到其他领域，如智能助手、推荐系统等。
📄 摘要（原文）
Customers reach out to online live chat agents with various intents, such as asking about product details or requesting a return. In this paper, we propose the problem of predicting user intent from browsing history and address it through a two-stage approach. The first stage classifies a user's browsing history into high-level intent categories. Here, we represent each browsing history as a text sequence of page attributes and use the ground-truth class labels to fine-tune pretrained Transformers. The second stage provides a large language model (LLM) with the browsing history and predicted intent class to generate fine-grained intents. For automatic evaluation, we use a separate LLM to judge the similarity between generated and ground-truth intents, which closely aligns with human judgments. Our two-stage approach yields significant performance gains compared to generating intents without the classification stage.