"Ask Me Anything": How Comcast Uses LLMs to Assist Agents in Real Time

📄 arXiv: 2405.00801v2 📥 PDF

作者: Scott Rome, Tianwen Chen, Raphael Tang, Luwei Zhou, Ferhan Ture

分类: cs.CL

发布日期: 2024-05-01 (更新: 2024-05-06)

DOI: 10.1145/3626772.3661345

💡 一句话要点

Comcast利用大型语言模型AMA实时辅助客服，提升效率并降低成本

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 客户服务 智能问答 实时辅助 效率提升

📋 核心要点

  1. 现有客服系统在处理复杂问题时效率较低，客服人员需要在多个系统间切换查找信息，影响响应速度和客户满意度。
  2. 论文提出AMA系统，利用大型语言模型实时为客服人员提供问题解答，减少信息搜索时间，提高问题解决效率。
  3. 内部实验表明，使用AMA系统后，客服人员处理包含搜索的对话时间减少约10%，并获得客服人员的积极反馈。

📝 摘要（中文）

客户服务是公司与客户交互的重要界面，对整体客户满意度贡献巨大。然而，高质量的服务成本高昂，促使公司寻求成本效益。因此，大多数公司采用AI驱动的助手或“聊天机器人”。但客户仍然希望与真人互动，尤其是在争议和账单支付等复杂敏感场景中。这提高了客服人员的要求，他们需要准确理解客户的问题，找到可行且符合公司政策的解决方案，同时处理多个对话。本文介绍“Ask Me Anything”（AMA），作为面向客服人员的客户服务界面的附加功能。AMA允许客服在处理客户对话时按需向大型语言模型（LLM）提问，LLM实时提供准确的响应，减少客服人员的上下文切换。内部实验表明，使用AMA的客服人员与使用传统搜索体验的客服人员相比，每次包含搜索的对话花费的时间减少约10%，每年可节省数百万美元。近80%的客服人员对AMA功能给予积极反馈，证明了其作为AI辅助功能的实用性。

🔬 方法详解

问题定义：客服人员在处理客户咨询时，需要快速准确地获取信息以解决问题。传统方法依赖于知识库搜索或咨询其他同事，效率较低，且容易出现信息不一致的情况。尤其是在处理复杂或不常见的问题时，客服人员需要花费大量时间查找信息，影响客户体验和客服效率。

核心思路：利用大型语言模型（LLM）的强大知识储备和自然语言理解能力，构建一个智能问答系统，客服人员可以直接向LLM提问，快速获取所需信息。这样可以减少客服人员在不同系统之间切换的时间，提高问题解决效率，并确保信息的一致性和准确性。

技术框架：AMA系统作为一个附加功能集成到现有的客服界面中。当客服人员遇到问题时，可以直接在界面中向AMA提问。AMA系统将问题发送给预训练的大型语言模型，LLM根据问题生成答案，并将答案实时返回给客服人员。客服人员可以根据LLM提供的答案，更好地解决客户的问题。

关键创新：AMA系统的关键创新在于将大型语言模型应用于客服领域，实现了实时、准确的智能问答。与传统的知识库搜索相比，AMA系统可以处理更复杂、更灵活的问题，并提供更个性化的答案。此外，AMA系统还可以不断学习和改进，提高问题解决的准确性和效率。

关键设计：AMA系统的关键设计包括：1) 选择合适的预训练大型语言模型，确保其具有足够的知识储备和自然语言理解能力；2) 设计高效的问答接口，方便客服人员快速提问和获取答案；3) 建立反馈机制，收集客服人员对答案的反馈，用于不断改进LLM的性能；4) 考虑数据安全和隐私保护，确保客户信息的安全。

📊 实验亮点

内部实验结果表明，使用AMA系统的客服人员在处理包含搜索的对话时，平均花费时间减少约10%。这意味着每年可以节省数百万美元的运营成本。此外，近80%的客服人员对AMA功能给予积极反馈，认为其能够有效提高工作效率和问题解决能力。这些数据表明，AMA系统在实际应用中具有显著的价值。

🎯 应用场景

该研究成果可广泛应用于各种客户服务场景，例如电话客服、在线客服、邮件客服等。通过提供实时、准确的智能问答服务，可以显著提高客服效率，降低运营成本，并提升客户满意度。此外，该技术还可以应用于其他需要快速信息检索和问题解决的领域，例如技术支持、医疗咨询等。

📄 摘要（原文）

Customer service is how companies interface with their customers. It can contribute heavily towards the overall customer satisfaction. However, high-quality service can become expensive, creating an incentive to make it as cost efficient as possible and prompting most companies to utilize AI-powered assistants, or "chat bots". On the other hand, human-to-human interaction is still desired by customers, especially when it comes to complex scenarios such as disputes and sensitive topics like bill payment. This raises the bar for customer service agents. They need to accurately understand the customer's question or concern, identify a solution that is acceptable yet feasible (and within the company's policy), all while handling multiple conversations at once. In this work, we introduce "Ask Me Anything" (AMA) as an add-on feature to an agent-facing customer service interface. AMA allows agents to ask questions to a large language model (LLM) on demand, as they are handling customer conversations -- the LLM provides accurate responses in real-time, reducing the amount of context switching the agent needs. In our internal experiments, we find that agents using AMA versus a traditional search experience spend approximately 10% fewer seconds per conversation containing a search, translating to millions of dollars of savings annually. Agents that used the AMA feature provided positive feedback nearly 80% of the time, demonstrating its usefulness as an AI-assisted feature for customer care.