Generation-Augmented Generation: A Plug-and-Play Framework for Private Knowledge Injection in Large Language Models

📄 arXiv: 2601.08209v1 📥 PDF

作者: Rongji Li, Jian Xu, Xueqing Chen, Yisheng Yang, Jiayi Wang, Xingyu Chen, Chunyu Xie, Dawei Leng, Xu-Yao Zhang

分类: cs.CL

发布日期: 2026-01-13

💡 一句话要点

提出生成增强生成（GAG）框架，用于大语言模型中私有知识注入，提升领域性能。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 私有知识注入 生成增强生成 大语言模型 领域知识 表示学习 多模态学习 RAG 知识对齐

📋 核心要点

  1. 现有微调方法迭代成本高，持续更新易导致灾难性遗忘和通用能力退化；RAG方法虽然保持了基础模型不变，但在专业私有语料库中容易出现证据碎片化、检索漂移和长上下文压力等问题。
  2. GAG框架将私有知识视为一种额外的专家模态，通过表示级别的接口注入知识，该接口与冻结的基础模型对齐，避免了提示时的证据序列化。
  3. 实验结果表明，GAG在私有科学问答基准上显著优于RAG基线，同时保持了在通用基准上的性能，并实现了可扩展的多领域部署。

📝 摘要（中文）

为了在大语言模型（LLM）的高风险部署中注入私有的、领域特定的知识（例如生物医学、材料和金融领域），而这些知识通常是专有的、快速发展的且在公共预训练数据中代表性不足，本文提出了生成增强生成（GAG）框架。该框架将私有专业知识视为一种额外的专家模态，并通过与冻结的基础模型对齐的紧凑的表示级接口注入知识，避免了提示时的证据序列化，同时实现了即插即用的专业化和可扩展的多领域组合以及可靠的选择性激活。在两个私有科学问答基准（免疫佐剂和催化材料）和混合领域评估中，GAG在两个基准上的专家性能分别比强大的RAG基线提高了15.34%和14.86%，同时保持了在六个开放通用基准上的性能，并实现了近乎完美的oracle选择性激活，从而实现了可扩展的多领域部署。

🔬 方法详解

问题定义：论文旨在解决大语言模型在特定领域应用时，如何有效注入私有知识的问题。现有微调方法成本高昂且容易导致灾难性遗忘，而RAG方法在处理专业领域的私有语料库时，容易受到证据碎片化、检索漂移和长上下文长度限制的影响，导致性能下降。

核心思路：论文的核心思路是将私有知识视为一种额外的“专家模态”，类似于多模态大语言模型处理图像、音频等模态的方式。通过学习一个将私有知识表示映射到大语言模型语义空间的接口，实现知识的注入，同时保持基础模型的参数不变。

技术框架：GAG框架包含以下几个主要模块：1) 知识编码器：将私有知识编码成向量表示。2) 对齐模块：将知识向量表示与基础语言模型的语义空间对齐。3) 生成模块：利用对齐后的知识表示增强语言模型的生成能力。整个流程可以看作是在基础语言模型的基础上，增加了一个“专家知识”的输入通道，模型可以根据输入的问题，选择性地激活或忽略该通道。

关键创新：GAG的关键创新在于将私有知识视为一种独立的模态，并通过表示学习的方式将其注入到大语言模型中。这种方法避免了对基础模型进行微调，从而降低了成本并防止了灾难性遗忘。同时，GAG框架的设计允许模型根据输入的问题，选择性地激活或忽略私有知识，从而提高了模型的灵活性和适应性。

关键设计：知识编码器可以使用各种预训练模型，例如BERT或Sentence-BERT。对齐模块可以使用简单的线性层或更复杂的神经网络。损失函数的设计需要考虑对齐的准确性和生成质量。论文中可能使用了对比学习或知识蒸馏等技术来优化对齐效果。选择性激活机制可以通过引入门控机制或注意力机制来实现。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，GAG框架在免疫佐剂和催化材料两个私有科学问答基准上，分别比强大的RAG基线提高了15.34%和14.86%。同时，GAG框架在六个开放通用基准上保持了性能，并实现了近乎完美的oracle选择性激活，证明了其在多领域部署中的有效性。

🎯 应用场景

GAG框架可广泛应用于需要注入私有知识的领域，例如生物医学、材料科学、金融等。它可以帮助企业或研究机构利用大语言模型处理专业领域的任务，例如问答、文本生成、知识发现等。该框架还可以用于构建多领域的大语言模型，实现知识的共享和迁移，具有重要的实际应用价值和未来发展潜力。

📄 摘要（原文）

In domains such as biomedicine, materials, and finance, high-stakes deployment of large language models (LLMs) requires injecting private, domain-specific knowledge that is proprietary, fast-evolving, and under-represented in public pretraining. However, the two dominant paradigms for private knowledge injection each have pronounced drawbacks: fine-tuning is expensive to iterate, and continual updates risk catastrophic forgetting and general-capability regression; retrieval-augmented generation (RAG) keeps the base model intact but is brittle in specialized private corpora due to chunk-induced evidence fragmentation, retrieval drift, and long-context pressure that yields query-dependent prompt inflation. Inspired by how multimodal LLMs align heterogeneous modalities into a shared semantic space, we propose Generation-Augmented Generation (GAG), which treats private expertise as an additional expert modality and injects it via a compact, representation-level interface aligned to the frozen base model, avoiding prompt-time evidence serialization while enabling plug-and-play specialization and scalable multi-domain composition with reliable selective activation. Across two private scientific QA benchmarks (immunology adjuvant and catalytic materials) and mixed-domain evaluations, GAG improves specialist performance over strong RAG baselines by 15.34% and 14.86% on the two benchmarks, respectively, while maintaining performance on six open general benchmarks and enabling near-oracle selective activation for scalable multi-domain deployment.