Where Should a Document Live: Context, Representations, or Parameters?
作者: Nathanaël Carraz Rakotonirina, Momchil Hardalov, Gonzalo Iglesias, Adrià de Gispert
分类: cs.CL, cs.AI
发布日期: 2026-09-15
💡 一句话要点
提出文档注入方法以提升大语言模型的知识获取能力
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 知识获取 信息注入 多文档检索 性能评估 KV缓存 上下文学习
📋 核心要点
- 现有方法在知识获取上存在效率和性能的权衡，缺乏统一的最佳方案。
- 论文提出了Cartridges和Compaction两种基于KV缓存的注入方法，旨在提高大语言模型的知识获取能力。
- 实验结果显示，Cartridges在多文档检索场景中表现优异，超越其他方法，且在理想条件下准确率最高。
📝 摘要（中文）
为了回答超出预训练数据的问题，大型语言模型（LLMs）需要访问新信息，这些信息可以通过上下文窗口中的文档、编码到模型参数中或作为潜在表示注入。然而，这些方法在效率、成本和性能上存在不同的权衡，没有单一的最佳方案。本文对基于表示（KV缓存）和基于参数（微调）的方法在五个知识密集型基准上的表现进行了对比。结果表明，在理想条件下，Cartridges（KV）在几乎所有存储预算下都是最准确的注入方法，超越参数方法10个百分点。在更现实的多文档检索场景中，Cartridges是唯一能够与上下文学习（ICL）相匹配的方法，领先参数方法29个百分点。尽管如此，Cartridges也面临灾难性遗忘的问题，控制基准上性能下降6%。
🔬 方法详解
问题定义：本文旨在解决大型语言模型在回答超出预训练数据的问题时，如何有效注入新信息的挑战。现有方法在效率、成本和性能上存在明显不足，尤其是在知识密集型任务中。
核心思路：论文提出了两种基于KV缓存的注入方法：Cartridges和Compaction，重点在于通过优化信息存储和检索方式，提高模型的知识获取能力和准确性。
技术框架：整体架构包括信息注入模块、知识检索模块和模型适应模块。信息注入模块负责将新信息编码为KV表示，知识检索模块则从多个文档中提取相关信息，最后通过模型适应模块将信息整合到模型中。
关键创新：最重要的技术创新在于Cartridges方法的提出，它在多个存储预算下均表现出色，且在多文档检索场景中能够与上下文学习相匹配，显著提升了模型的知识获取能力。
关键设计：在参数设置上，Cartridges方法采用了特定的KV缓存结构，损失函数设计上注重信息的有效提取与整合，网络结构则结合了大规模MLP适配器以增强模型的适应性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，在理想条件下，Cartridges方法在几乎所有存储预算下超越参数方法10个百分点。在多文档检索场景中，Cartridges领先参数方法29个百分点，且Compaction方法在高压缩率下表现不佳，落后于参数方法10个百分点。
🎯 应用场景
该研究的潜在应用领域包括智能问答系统、信息检索和知识图谱构建等。通过提升大语言模型的知识获取能力，能够在更复杂的场景中提供更准确的答案，具有重要的实际价值和未来影响。
📄 摘要（原文）
To answer questions outside of their pre-training data, large language models (LLMs) need access to new information, which can be presented in the context window as documents, encoded into the model's parameters, or injected as latent representations. However, each of these methods comes with different efficiency, cost, and performance trade-offs, with no single winner. We present a controlled comparison of representation-based (KV-cache based) and parametric (fine-tuning-based) adaptation methods on five knowledge-intensive benchmarks. We show that in the oracle setting, Cartridges (KV) are the most accurate injection method at nearly every storage budget, outperforming parametric methods by 10 points. Compaction (KV) matches Cartridges only at low compression rates, lagging behind the parametric methods by 10 points at rates higher than $50\times$. In the more realistic multi-document retrieval scenario, Cartridges are the only method that matches in-context learning (ICL), leading the parametric methods by 29 points and Compaction by 15 points. Nonetheless, Cartridges are also the only method, besides full fine-tuning and large MLP adapters, that suffers from catastrophic forgetting, i.e., a 6% performance degradation on control benchmarks, with 13% in coding.