TeleEmbedBench: A Multi-Corpus Embedding Benchmark for RAG in Telecommunications

📄 arXiv: 2604.17778v1 📥 PDF

作者: Pranshav Gajjar, Vijay K Shah

分类: cs.LG

发布日期: 2026-04-20

💡 一句话要点

提出TeleEmbedBench，用于评估电信领域RAG的嵌入模型，解决通用benchmark不足问题。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 电信领域 RAG 嵌入模型 benchmark 自动化标注 LLM 检索增强生成 多语料库

📋 核心要点

  1. 现有通用嵌入模型benchmark无法有效评估电信领域RAG系统，因为电信语料库具有独特的密集、缩略和交叉引用特性。
  2. TeleEmbedBench通过自动化pipeline，利用LLM生成和验证问题-chunk对，构建大规模电信领域benchmark，无需手动标注。
  3. 实验表明，基于LLM的嵌入模型在电信领域检索任务中显著优于传统sentence-transformers，但在特定任务指令下，自然语言规范检索性能反而下降。

📝 摘要（中文）

大型语言模型（LLMs）越来越多地应用于电信领域的关键任务，严重依赖于检索增强生成（RAG）来使通用模型适应不断发展的标准。然而，评估驱动这些RAG流程的嵌入模型方面存在显著差距，因为通用benchmark无法捕捉电信语料库的密集性、首字母缩略词以及高度交叉引用的特性。为了解决这个问题，我们推出了TeleEmbedBench，这是第一个专为电信领域设计的大规模多语料库嵌入benchmark。该benchmark涵盖三个异构语料库：O-RAN联盟规范、3GPP发布文档和srsRAN开源代码库，包含跨三种标准chunk大小（512、1024和2048个token）的9000个问题-chunk对。为了大规模构建此数据集而没有手动标注瓶颈，我们采用了一种新颖的自动化流程，其中一个LLM从文本chunk生成特定查询，而第二个LLM根据严格的标准验证它们。我们全面评估了八个嵌入模型，涵盖了标准的sentence-transformers和基于LLM的嵌入器。我们的结果表明，基于LLM的嵌入器（如Qwen3和EmbeddingGemma）在检索准确性和针对跨域干扰的鲁棒性方面始终显著优于传统的sentence-transformers。此外，我们引入了TeleEmbedBench-Clean来评估模型针对嘈杂、不完整的用户查询的鲁棒性。最后，我们的分析表明，虽然特定于领域的任务指令可以提高原始源代码的嵌入器性能，但自相矛盾的是，它们会降低自然语言电信规范的检索性能。

🔬 方法详解

问题定义：现有通用嵌入模型benchmark在评估电信领域RAG系统的嵌入模型时表现不足。电信领域的文档（如O-RAN规范、3GPP文档和源代码）具有高度专业性、大量缩略语和复杂的交叉引用，通用benchmark难以有效捕捉这些特征，导致RAG系统性能下降。

核心思路：TeleEmbedBench的核心思路是构建一个专门针对电信领域的嵌入模型benchmark，该benchmark包含多个异构语料库，并采用自动化pipeline生成高质量的问题-chunk对，从而能够更准确地评估嵌入模型在电信领域的性能。

技术框架：TeleEmbedBench的构建流程主要包括以下几个阶段：1) 数据收集：收集O-RAN联盟规范、3GPP发布文档和srsRAN开源代码库等电信领域语料库。2) chunk划分：将语料库划分为不同大小的chunk（512、1024和2048个token）。3) 问题生成：使用LLM从每个chunk生成特定查询。4) 问题验证：使用另一个LLM根据严格的标准验证生成的问题。5) 评估：使用生成的问题-chunk对评估不同的嵌入模型。

关键创新：TeleEmbedBench的关键创新在于其自动化pipeline，该pipeline利用LLM生成和验证问题，避免了手动标注的瓶颈，从而能够大规模构建benchmark。此外，TeleEmbedBench还包含多个异构语料库，能够更全面地评估嵌入模型在不同类型的电信文档上的性能。

关键设计：TeleEmbedBench使用了两个LLM，一个用于生成问题，另一个用于验证问题。问题生成LLM被prompt生成与chunk内容相关的问题，问题验证LLM则被prompt判断生成的问题是否准确、清晰和相关。此外，TeleEmbedBench还定义了一系列评估指标，包括检索准确率和鲁棒性，以全面评估嵌入模型的性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，基于LLM的嵌入模型（如Qwen3和EmbeddingGemma）在TeleEmbedBench上显著优于传统的sentence-transformers。例如，Qwen3在检索准确率方面平均提升了10%以上。此外，TeleEmbedBench-Clean的评估结果表明，基于LLM的嵌入模型对噪声和不完整查询具有更强的鲁棒性。一个反直觉的发现是，领域相关的任务指令反而降低了自然语言电信规范的检索性能。

🎯 应用场景

TeleEmbedBench可用于评估和选择适用于电信领域RAG系统的嵌入模型，提高RAG系统在电信领域的性能，例如在智能客服、故障诊断、规范查询等场景中，帮助工程师和研究人员更高效地获取和利用电信领域的知识。该benchmark的构建方法也可以推广到其他专业领域。

📄 摘要（原文）

Large language models (LLMs) are increasingly deployed in the telecommunications domain for critical tasks, relying heavily on Retrieval-Augmented Generation (RAG) to adapt general-purpose models to continuously evolving standards. However, a significant gap exists in evaluating the embedding models that power these RAG pipelines, as general-purpose benchmarks fail to capture the dense, acronym-heavy, and highly cross-referential nature of telecommunications corpora. To address this, we introduce TeleEmbedBench, the first large-scale, multi-corpus embedding benchmark designed specifically for telecommunications. The benchmark spans three heterogeneous corpora: O-RAN Alliance specifications, 3GPP release documents, and the srsRAN open-source codebase, comprising 9,000 question-chunk pairs across three standard chunk sizes (512, 1024, and 2048 tokens). To construct this dataset at scale without manual annotation bottlenecks, we employ a novel automated pipeline where one LLM generates specific queries from text chunks and a secondary LLM validates them across strict criteria. We comprehensively evaluate eight embedding models, spanning standard sentence-transformers and LLM-based embedders. Our results demonstrate that LLM-based embedders, such as Qwen3 and EmbeddingGemma, consistently and significantly outperform traditional sentence-transformers in both retrieval accuracy and robustness against cross-domain interference. Additionally, we introduce TeleEmbedBench-Clean to evaluate model robustness against noisy, incomplete user queries. Finally, our analysis reveals that while domain-specific task instructions improve embedder performance for raw source code, they paradoxically degrade retrieval performance for natural language telecommunications specifications.