Retrieval Augmented Generation-Based Incident Resolution Recommendation System for IT Support

📄 arXiv: 2409.13707v1 📥 PDF

作者: Paulina Toro Isaza, Michael Nidd, Noah Zheutlin, Jae-wook Ahn, Chidansh Amitkumar Bhatt, Yu Deng, Ruchi Mahindru, Martin Franz, Hans Florian, Salim Roukos

分类: cs.IR, cs.AI, cs.CL

发布日期: 2024-09-06

备注: 7 pages, 3 figures, 6 tables

💡 一句话要点

提出基于检索增强生成（RAG）的IT支持事件解决方案推荐系统，解决领域覆盖和模型大小限制问题。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 检索增强生成 RAG IT支持 AIOps 解决方案推荐

📋 核心要点

  1. 现有IT支持的生成式AI方案受限于模型大小和领域知识覆盖，难以直接应用大型模型。
  2. 采用检索增强生成（RAG）框架，先检索相关知识，再由小型生成模型生成解决方案，提升领域覆盖。
  3. 系统结合RAG、编码器模型和生成式LLM，用于答案生成、分类和查询生成，并进行了初步验证。

📝 摘要（中文）

在IT支持和AIOps领域应用生成式AI时，客户面临领域覆盖和模型大小限制两个关键问题。由于成本和隐私考虑，客户可能选择不使用GPT-4等大型专有模型，因此只能使用领域覆盖范围较小且无法泛化到客户领域的小型模型。检索增强生成（RAG）是一种常见的解决方案，它通过检索系统获取必要的领域知识，然后由小型生成模型将其用作生成上下文。本文介绍了一个为IT支持领域的客户开发的系统，该系统结合了RAG用于答案生成、仅编码器模型用于分类以及生成式大型语言模型用于查询生成，以提供支持案例解决方案推荐。文章涵盖了架构细节、数据收集和标注、开发过程和初步验证、预期的最终部署过程和评估计划，以及经验教训。

🔬 方法详解

问题定义：现有IT支持系统在采用生成式AI时，面临两个主要问题：一是领域知识覆盖不足，小型模型难以处理特定领域的复杂问题；二是模型大小限制，由于成本和隐私考虑，无法直接使用大型预训练模型，导致生成效果不佳。现有方法难以兼顾领域知识的全面性和模型推理的效率。

核心思路：论文的核心思路是利用检索增强生成（RAG）框架，将外部知识库引入到生成过程中。首先，通过检索系统从知识库中检索与用户问题相关的文档；然后，将检索到的文档作为上下文信息，输入到小型生成模型中，从而提高生成答案的质量和相关性。这样既可以利用外部知识弥补小型模型的不足，又可以避免直接使用大型模型带来的成本和隐私问题。

技术框架：该系统包含三个主要模块：1) 检索模块：负责从知识库中检索与用户问题相关的文档。2) 生成模块：利用小型生成模型，结合检索到的文档，生成解决方案推荐。3) 分类模块：使用仅编码器模型对问题进行分类，辅助检索和生成过程。此外，还使用生成式大型语言模型进行查询生成，以扩展检索范围。整体流程是：用户输入问题 -> 查询生成（可选） -> 检索相关文档 -> 问题分类 -> 结合检索结果和分类结果生成解决方案。

关键创新：该系统的关键创新在于将RAG框架应用于IT支持领域，并结合了编码器模型和生成式LLM，实现了更高效和准确的解决方案推荐。与传统的生成式AI方法相比，该系统能够利用外部知识库，提高领域覆盖率和生成质量。与传统的检索式方法相比，该系统能够生成更自然和流畅的解决方案，而不是简单地返回已有的答案。

关键设计：具体的参数设置、损失函数和网络结构等技术细节在摘要中未详细说明，属于未知信息。但可以推测，检索模块可能使用了基于向量相似度的检索方法，生成模块可能使用了Transformer架构的生成模型，分类模块可能使用了预训练的编码器模型，并针对IT支持领域的特定问题进行了微调。损失函数可能包括生成损失和分类损失，以优化模型的生成和分类能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文介绍了为IT支持领域客户开发的系统，该系统结合了RAG用于答案生成，encoder-only模型用于分类，以及生成式LLM用于查询生成。虽然摘要中没有给出具体的性能数据，但初步验证表明该系统能够有效提高解决方案推荐的质量和相关性。预期的最终部署过程和评估计划也表明了该研究的实际应用价值。

🎯 应用场景

该研究成果可应用于各种IT支持场景，例如自动化的故障排除、问题解答和解决方案推荐。通过结合检索增强生成技术，可以显著提高IT支持的效率和质量，降低人工成本，并为用户提供更快速和准确的解决方案。该系统还可以扩展到其他领域，例如客户服务、技术咨询和在线教育等。

📄 摘要（原文）

Clients wishing to implement generative AI in the domain of IT Support and AIOps face two critical issues: domain coverage and model size constraints due to model choice limitations. Clients might choose to not use larger proprietary models such as GPT-4 due to cost and privacy concerns and so are limited to smaller models with potentially less domain coverage that do not generalize to the client's domain. Retrieval augmented generation is a common solution that addresses both of these issues: a retrieval system first retrieves the necessary domain knowledge which a smaller generative model leverages as context for generation. We present a system developed for a client in the IT Support domain for support case solution recommendation that combines retrieval augmented generation (RAG) for answer generation with an encoder-only model for classification and a generative large language model for query generation. We cover architecture details, data collection and annotation, development journey and preliminary validations, expected final deployment process and evaluation plans, and finally lessons learned.