A Survey on Retrieval And Structuring Augmented Generation with Large Language Models
作者: Pengcheng Jiang, Siru Ouyang, Yizhu Jiao, Ming Zhong, Runchu Tian, Jiawei Han
分类: cs.CL
发布日期: 2025-09-12
备注: KDD'25 survey track
💡 一句话要点
综述检索与结构化增强的大语言模型生成方法，解决幻觉、知识过时和领域受限问题。
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大语言模型 检索增强生成 知识结构化 信息检索 自然语言处理
📋 核心要点
- 现有大语言模型在实际应用中面临幻觉生成、知识过时和领域知识不足等挑战。
- 检索与结构化增强生成（RAS）通过整合动态信息检索和结构化知识表示来解决这些问题。
- 该综述考察了检索机制、文本结构化技术以及结构化表示与LLM的集成方法，并指出了未来研究方向。
📝 摘要（中文）
大型语言模型（LLM）以其卓越的文本生成和推理能力彻底改变了自然语言处理领域。然而，这些模型在实际应用中面临着严峻的挑战，包括幻觉生成、知识过时和领域专业知识有限。检索与结构化（RAS）增强生成通过整合动态信息检索与结构化知识表示来解决这些局限性。本综述（1）考察了用于访问外部知识的检索机制，包括稀疏、密集和混合方法；（2）探索了文本结构化技术，如分类体系构建、分层分类和信息提取，这些技术将非结构化文本转换为有组织的表示；（3）研究了这些结构化表示如何通过基于提示的方法、推理框架和知识嵌入技术与LLM集成。它还指出了检索效率、结构质量和知识集成方面的技术挑战，同时强调了多模态检索、跨语言结构和交互系统方面的研究机会。这个全面的概述为研究人员和从业人员提供了对RAS方法、应用和未来方向的见解。
🔬 方法详解
问题定义：大语言模型（LLM）虽然在文本生成和推理方面表现出色，但在实际应用中存在知识幻觉、知识更新滞后以及特定领域知识匮乏等问题。现有的LLM方法难以有效利用外部知识，并且缺乏对知识的结构化组织和推理能力，导致生成结果的可靠性和准确性受到限制。
核心思路：论文的核心思路是利用检索与结构化（RAS）增强生成技术，通过动态检索外部知识并将其结构化，从而提升LLM的生成质量和可靠性。这种方法旨在弥补LLM自身知识的不足，并赋予其更强的推理能力。
技术框架：RAS增强生成框架主要包含三个核心模块：1) 检索模块：负责从外部知识库中检索相关信息，包括稀疏检索、密集检索和混合检索等方法。2) 结构化模块：将检索到的非结构化文本转换为结构化表示，例如通过分类体系构建、层次分类和信息抽取等技术。3) 生成模块：将结构化知识与LLM集成，利用提示学习、推理框架或知识嵌入等技术，引导LLM生成更准确、可靠的文本。
关键创新：该综述的关键创新在于系统性地总结和分析了RAS增强生成领域的研究进展，并提出了未来研究方向。它将检索、结构化和生成三个环节有机结合，强调了知识的动态获取和结构化表示对于提升LLM性能的重要性。
关键设计：论文重点讨论了不同检索方法的优缺点，例如稀疏检索的效率优势和密集检索的语义理解能力。在结构化方面，论文分析了不同结构化技术的适用场景和局限性，例如分类体系构建适用于知识组织，信息抽取适用于关系挖掘。在知识集成方面，论文比较了提示学习、推理框架和知识嵌入等方法的特点，并探讨了如何根据具体任务选择合适的集成策略。
🖼️ 关键图片
📊 实验亮点
该综述全面梳理了检索与结构化增强生成方法，深入分析了各类技术的优缺点，并指出了未来研究方向，为研究人员和从业者提供了宝贵的参考。它强调了知识的动态获取和结构化表示对于提升LLM性能的重要性，为解决LLM的知识幻觉问题提供了新的思路。
🎯 应用场景
该研究成果可广泛应用于问答系统、对话生成、知识图谱构建、智能客服等领域。通过增强LLM的知识获取和推理能力，可以显著提升这些应用的性能和用户体验，并有望推动人工智能在更多领域的应用。
📄 摘要（原文）
Large Language Models (LLMs) have revolutionized natural language processing with their remarkable capabilities in text generation and reasoning. However, these models face critical challenges when deployed in real-world applications, including hallucination generation, outdated knowledge, and limited domain expertise. Retrieval And Structuring (RAS) Augmented Generation addresses these limitations by integrating dynamic information retrieval with structured knowledge representations. This survey (1) examines retrieval mechanisms including sparse, dense, and hybrid approaches for accessing external knowledge; (2) explore text structuring techniques such as taxonomy construction, hierarchical classification, and information extraction that transform unstructured text into organized representations; and (3) investigate how these structured representations integrate with LLMs through prompt-based methods, reasoning frameworks, and knowledge embedding techniques. It also identifies technical challenges in retrieval efficiency, structure quality, and knowledge integration, while highlighting research opportunities in multimodal retrieval, cross-lingual structures, and interactive systems. This comprehensive overview provides researchers and practitioners with insights into RAS methods, applications, and future directions.