Benchmarking Vector, Graph and Hybrid Retrieval Augmented Generation (RAG) Pipelines for Open Radio Access Networks (ORAN)

📄 arXiv: 2507.03608v2 📥 PDF

作者: Sarat Ahmad, Zeinab Nezami, Maryam Hafeez, Syed Ali Raza Zaidi

分类: cs.AI, cs.DC, cs.ET, cs.NI

发布日期: 2025-07-04 (更新: 2025-08-20)

💡 一句话要点

针对ORAN，论文提出并benchmark了向量、图和混合检索增强生成(RAG)流水线，提升了事实正确性和上下文相关性。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 检索增强生成 开放无线接入网络 知识图谱 混合检索 大型语言模型 事实正确性 上下文相关性 ORAN

📋 核心要点

  1. 现有RAG方法在ORAN等高风险领域缺乏系统性的、指标驱动的评估，限制了其在该领域的可靠应用。
  2. 论文提出利用GraphRAG和Hybrid GraphRAG，结合知识图谱和双重检索策略，增强RAG在ORAN规范下的性能。
  3. 实验结果表明，GraphRAG和Hybrid GraphRAG在事实正确性和上下文相关性方面均优于传统RAG方法。

📝 摘要（中文）

生成式AI(GenAI)有望在未来无线网络中实现自主优化，发挥关键作用。在ORAN架构中，大型语言模型(LLM)可以通过利用RAN智能控制器(RIC)平台的规范和API定义来专门生成xApps和rApps。然而，为电信特定任务微调基础LLM仍然昂贵且资源密集。检索增强生成(RAG)通过上下文学习提供了一种实用的替代方案，无需完全重新训练即可实现领域自适应。虽然传统的RAG系统依赖于基于向量的检索，但诸如GraphRAG和混合GraphRAG等新兴变体结合了知识图谱或双重检索策略，以支持多跳推理并提高事实基础。尽管这些方法很有前景，但它们缺乏系统的、指标驱动的评估，尤其是在ORAN等高风险领域。在本研究中，我们使用ORAN规范对向量RAG、GraphRAG和混合GraphRAG进行了比较评估。我们使用已建立的生成指标：忠实性、答案相关性、上下文相关性和事实正确性来评估不同问题复杂度的性能。结果表明，GraphRAG和混合GraphRAG均优于传统RAG。混合GraphRAG将事实正确性提高了8%，而GraphRAG将上下文相关性提高了11%。

🔬 方法详解

问题定义：论文旨在解决在开放无线接入网络(ORAN)环境中，如何更有效地利用检索增强生成(RAG)技术，提升大型语言模型(LLM)在生成xApps和rApps时的性能。现有基于向量检索的RAG方法在处理复杂的多跳推理和保证事实正确性方面存在不足，尤其是在ORAN这种高风险领域，错误的生成结果可能导致严重后果。

核心思路：论文的核心思路是引入知识图谱(GraphRAG)和混合检索策略(Hybrid GraphRAG)来增强RAG系统。GraphRAG通过知识图谱来表示ORAN规范中的实体和关系，从而支持多跳推理。Hybrid GraphRAG则结合了向量检索和图检索，利用各自的优势来提高检索的准确性和召回率。这样设计的目的是为了提高LLM生成结果的事实正确性和上下文相关性。

技术框架：整体框架包括以下几个主要模块：1) ORAN规范文档的预处理和知识图谱构建；2) 基于向量的检索模块，使用向量数据库存储和检索文档；3) 基于图的检索模块，使用知识图谱进行实体和关系的检索；4) 混合检索模块，结合向量检索和图检索的结果；5) LLM生成模块，根据检索到的信息生成xApps和rApps。

关键创新：论文的关键创新在于将知识图谱和混合检索策略引入到ORAN的RAG系统中。与传统的向量RAG相比，GraphRAG能够更好地处理多跳推理，提高事实正确性。Hybrid GraphRAG则通过结合向量检索和图检索，进一步提高了检索的准确性和召回率，从而提升了LLM的生成质量。

关键设计：在知识图谱构建方面，需要仔细设计实体和关系的抽取规则，保证知识图谱的质量。在混合检索方面，需要设计合适的融合策略，平衡向量检索和图检索的权重。在LLM生成方面，需要选择合适的LLM模型，并进行适当的提示工程，引导LLM生成高质量的xApps和rApps。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，GraphRAG和Hybrid GraphRAG在ORAN规范下均优于传统的向量RAG。具体来说，Hybrid GraphRAG将事实正确性提高了8%，而GraphRAG将上下文相关性提高了11%。这些结果表明，知识图谱和混合检索策略能够有效提升RAG系统在复杂领域的性能。

🎯 应用场景

该研究成果可应用于开放无线接入网络(ORAN)的自动化和智能化。通过提升LLM生成xApps和rApps的质量，可以降低开发成本，提高网络性能，并加速新业务的部署。此外，该方法还可以推广到其他需要高可靠性和准确性的领域，如金融、医疗等。

📄 摘要（原文）

Generative AI (GenAI) is expected to play a pivotal role in enabling autonomous optimization in future wireless networks. Within the ORAN architecture, Large Language Models (LLMs) can be specialized to generate xApps and rApps by leveraging specifications and API definitions from the RAN Intelligent Controller (RIC) platform. However, fine-tuning base LLMs for telecom-specific tasks remains expensive and resource-intensive. Retrieval-Augmented Generation (RAG) offers a practical alternative through in-context learning, enabling domain adaptation without full retraining. While traditional RAG systems rely on vector-based retrieval, emerging variants such as GraphRAG and Hybrid GraphRAG incorporate knowledge graphs or dual retrieval strategies to support multi-hop reasoning and improve factual grounding. Despite their promise, these methods lack systematic, metric-driven evaluations, particularly in high-stakes domains such as ORAN. In this study, we conduct a comparative evaluation of Vector RAG, GraphRAG, and Hybrid GraphRAG using ORAN specifications. We assess performance across varying question complexities using established generation metrics: faithfulness, answer relevance, context relevance, and factual correctness. Results show that both GraphRAG and Hybrid GraphRAG outperform traditional RAG. Hybrid GraphRAG improves factual correctness by 8%, while GraphRAG improves context relevance by 11%.