Transforming External Knowledge into Triplets for Enhanced Retrieval in RAG of LLMs

📄 arXiv: 2604.12610v1 📥 PDF

作者: Xudong Wang, Chaoning Zhang, Qigan Sun, Zhenzhen Huang, Chang Lu, Sheng Zheng, Zeyu Ma, Caiyan Qin, Yang Yang, Hengtao Shen

分类: cs.CL

发布日期: 2026-04-14

备注: 12 pages, 5 figures

💡 一句话要点

提出Tri-RAG，通过结构化三元组知识表示增强LLM的RAG检索效率。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 检索增强生成 知识图谱 三元组表示 大型语言模型 推理效率

📋 核心要点

  1. 现有RAG方法依赖非结构化文本片段，导致上下文冗余、语义对齐差和推理链断裂。
  2. Tri-RAG将外部知识转换为(条件，证明，结论)三元组，以条件作为语义锚点进行精确检索。
  3. 实验表明，Tri-RAG显著提升检索质量和推理效率，并降低资源消耗。

📝 摘要（中文）

检索增强生成(RAG)通过在生成过程中融入外部知识来缓解大型语言模型(LLM)的幻觉问题。然而，RAG的有效性不仅取决于检索器的设计和底层模型的能力，还取决于检索到的证据如何结构化并与查询对齐。现有的RAG方法通常检索并连接非结构化的文本片段作为上下文，这通常会引入冗余或弱相关的信息。这种做法导致过度的上下文累积、降低的语义对齐和碎片化的推理链，从而降低生成质量，同时增加token消耗。为了解决这些挑战，我们提出了Tri-RAG，一个结构化的基于三元组的检索框架，通过与推理对齐的上下文构建来提高检索效率。Tri-RAG自动将来自自然语言的外部知识转换为标准化的结构化三元组，包括条件(Condition)、证明(Proof)和结论(Conclusion)，使用轻量级的基于prompt的适应和冻结的模型参数显式地捕获知识片段之间的逻辑关系。在此表示的基础上，三元组头部Condition被视为检索和匹配的显式语义锚点，从而能够精确识别与查询相关的知识单元，而无需直接连接冗长的原始文本。因此，Tri-RAG在检索精度和上下文token效率之间实现了良好的平衡。多个基准数据集上的实验结果表明，Tri-RAG显著提高了检索质量和推理效率，同时在复杂的推理场景中产生了更稳定的生成行为和更有效的资源利用。

🔬 方法详解

问题定义：现有RAG方法在检索外部知识时，通常直接检索和拼接非结构化的文本片段，导致检索到的信息包含大量冗余和弱相关的内容。这不仅增加了上下文的长度，导致token消耗增加，还降低了语义对齐的程度，使得模型难以进行有效的推理，最终影响生成质量。因此，如何更精确、更高效地检索与查询相关的知识是亟待解决的问题。

核心思路：Tri-RAG的核心思路是将外部知识转换为结构化的三元组表示，即(Condition, Proof, Conclusion)。其中，Condition作为语义锚点，用于检索与查询相关的知识单元。通过这种结构化的表示方式，可以显式地捕捉知识片段之间的逻辑关系，从而避免了直接拼接原始文本带来的冗余信息。这种设计旨在提高检索的精度和效率，同时减少token消耗。

技术框架：Tri-RAG的整体框架主要包含以下几个步骤：1) 知识转换：使用基于prompt的轻量级方法，将外部知识从自然语言转换为(Condition, Proof, Conclusion)三元组。2) 检索：以三元组的Condition作为语义锚点，检索与查询相关的知识单元。3) 生成：将检索到的三元组作为上下文，输入到LLM中进行生成。整个流程旨在通过结构化的知识表示和精确的检索，提高RAG的性能。

关键创新：Tri-RAG最重要的创新点在于其结构化的三元组知识表示方法。与现有方法直接检索非结构化文本片段不同，Tri-RAG通过将知识表示为(Condition, Proof, Conclusion)三元组，显式地捕捉了知识片段之间的逻辑关系。这种结构化的表示方式使得检索更加精确，避免了冗余信息的引入，从而提高了检索效率和生成质量。

关键设计：Tri-RAG的关键设计包括：1) Prompt设计：使用精心设计的prompt来指导LLM将自然语言知识转换为三元组。2) 语义锚点：将三元组的Condition作为语义锚点，用于检索与查询相关的知识单元。3) 轻量级适应：采用冻结模型参数的轻量级prompt-based adaptation方法，降低了训练成本。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，Tri-RAG在多个基准数据集上显著提高了检索质量和推理效率。具体而言，Tri-RAG在检索精度方面优于传统的RAG方法，同时减少了token消耗。此外，Tri-RAG在复杂的推理场景中表现出更稳定的生成行为，并实现了更有效的资源利用。这些结果表明，Tri-RAG是一种有效的RAG增强方法。

🎯 应用场景

Tri-RAG可应用于需要利用外部知识进行推理和生成的各种场景，例如问答系统、知识图谱推理、文本摘要等。通过提高检索效率和生成质量，Tri-RAG可以帮助LLM更好地理解和利用外部知识，从而在这些应用中取得更好的效果。未来，Tri-RAG还可以扩展到其他类型的知识表示和检索方法，进一步提高RAG的性能。

📄 摘要（原文）

Retrieval-Augmented Generation (RAG) mitigates hallucination in large language models (LLMs) by incorporating external knowledge during generation. However, the effectiveness of RAG depends not only on the design of the retriever and the capacity of the underlying model, but also on how retrieved evidence is structured and aligned with the query. Existing RAG approaches typically retrieve and concatenate unstructured text fragments as context, which often introduces redundant or weakly relevant information. This practice leads to excessive context accumulation, reduced semantic alignment, and fragmented reasoning chains, thereby degrading generation quality while increasing token consumption. To address these challenges, we propose Tri-RAG, a structured triplet-based retrieval framework that improves retrieval efficiency through reasoning-aligned context construction. Tri-RAG automatically transforms external knowledge from natural language into standardized structured triplets consisting of Condition, Proof, and Conclusion, explicitly capturing logical relations among knowledge fragments using lightweight prompt-based adaptation with frozen model parameters. Building on this representation, the triplet head Condition is treated as an explicit semantic anchor for retrieval and matching, enabling precise identification of query-relevant knowledge units without directly concatenating lengthy raw texts. As a result, Tri-RAG achieves a favorable balance between retrieval accuracy and context token efficiency. Experimental results across multiple benchmark datasets demonstrate that Tri-RAG significantly improves retrieval quality and reasoning efficiency, while producing more stable generation behavior and more efficient resource utilization in complex reasoning scenarios.