Doc-to-LoRA: Learning to Instantly Internalize Contexts

📄 arXiv: 2602.15902v1 📥 PDF

作者: Rujikorn Charakorn, Edoardo Cetin, Shinnosuke Uesaka, Robert Tjarko Lange

分类: cs.CL, cs.AI

发布日期: 2026-02-13

💡 一句话要点

提出Doc-to-LoRA，通过元学习快速将上下文信息内化到LLM中，加速长文本处理。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 上下文学习 长文本处理 LoRA适配器 元学习 知识蒸馏

📋 核心要点

  1. Transformer的二次注意力复杂度导致LLM处理长文本时内存消耗大、速度慢，限制了其在上下文学习等任务中的应用。
  2. Doc-to-LoRA通过元学习训练一个超网络，该网络能为每个输入文档快速生成LoRA适配器，将上下文信息内化到LLM参数中。
  3. 实验表明，D2L在长文本任务上超越了传统上下文蒸馏方法，显著降低了内存消耗和延迟，并实现了接近完美的零样本准确率。

📝 摘要（中文）

长输入序列对于大语言模型(LLM)的上下文学习、文档理解和多步推理至关重要。然而，Transformer的二次注意力成本使得推理过程内存密集且缓慢。虽然上下文蒸馏(CD)可以将信息转移到模型参数中，但由于训练成本和延迟，逐prompt蒸馏是不切实际的。为了解决这些限制，我们提出了Doc-to-LoRA (D2L)，这是一个轻量级的超网络，通过元学习在单个前向传递中执行近似CD。给定一个未见过的prompt，D2L为目标LLM生成一个LoRA适配器，使后续查询能够在不重新消耗原始上下文的情况下得到回答，从而减少目标LLM推理期间的延迟和KV-cache内存消耗。在一个长上下文的“大海捞针”任务中，D2L成功地学习将上下文映射到存储“针”信息的适配器，在序列长度超过目标LLM原生上下文窗口4倍以上时，实现了接近完美的零样本准确率。在计算资源有限的真实QA数据集上，D2L优于标准CD，同时显著降低了峰值内存消耗和更新延迟。我们设想D2L可以促进LLM的快速适应，开启频繁知识更新和个性化聊天行为的可能性。

🔬 方法详解

问题定义：现有的大语言模型在处理长文本时，由于Transformer架构的二次方复杂度，导致计算成本和内存消耗非常高。传统的上下文蒸馏方法虽然可以将上下文信息融入模型参数，但需要针对每个prompt进行训练，成本高昂且延迟大，不适用于快速适应新上下文的场景。

核心思路：Doc-to-LoRA的核心思想是利用元学习训练一个超网络，该网络能够根据输入的文档（上下文）快速生成一个LoRA适配器。这个LoRA适配器可以插入到预训练的大语言模型中，从而使模型能够理解并利用文档中的信息，而无需重新处理原始文档。这样，后续的查询可以直接利用适配器中的知识，降低了推理延迟和内存消耗。

技术框架：Doc-to-LoRA包含两个主要部分：超网络和目标LLM。超网络接收文档作为输入，输出LoRA适配器的参数。LoRA适配器被添加到目标LLM中，用于在推理时调整模型的行为。整个训练过程采用元学习的方式，即在多个不同的文档上训练超网络，使其能够泛化到未见过的文档。具体流程如下：1. 输入文档到超网络；2. 超网络生成LoRA参数；3. LoRA适配器插入目标LLM；4. 使用问题和答案对训练LLM+LoRA；5. 评估LLM+LoRA在新的文档上的性能。

关键创新：Doc-to-LoRA的关键创新在于使用超网络进行快速上下文蒸馏。与传统的上下文蒸馏方法相比，Doc-to-LoRA只需要一个前向传递即可生成适配器，无需针对每个prompt进行训练，大大降低了训练成本和延迟。此外，通过元学习，Doc-to-LoRA能够泛化到未见过的文档，提高了模型的适应性。

关键设计：超网络的设计至关重要，需要能够有效地将文档信息编码成LoRA参数。论文中可能采用了某种特定的网络结构（具体结构未知），例如Transformer或CNN，来处理文档并生成LoRA参数。损失函数的设计也需要考虑如何使LoRA适配器能够有效地存储文档中的信息，并提高模型在下游任务上的性能。具体损失函数细节未知。

📊 实验亮点

Doc-to-LoRA在长文本“大海捞针”任务中，序列长度超过目标LLM原生上下文窗口4倍以上时，实现了接近完美的零样本准确率。在真实QA数据集上，D2L优于标准CD，同时显著降低了峰值内存消耗和更新延迟。具体性能提升数据未知。

🎯 应用场景

Doc-to-LoRA具有广泛的应用前景，例如可以用于快速适应新的知识库、个性化聊天机器人、以及处理长篇文档的问答系统。通过快速生成LoRA适配器，可以使LLM能够快速适应新的领域和任务，从而提高其在实际应用中的效率和灵活性。该方法还可以用于构建更加个性化的聊天机器人，使其能够根据用户的历史对话和偏好进行定制化的回复。

📄 摘要（原文）

Long input sequences are central to in-context learning, document understanding, and multi-step reasoning of Large Language Models (LLMs). However, the quadratic attention cost of Transformers makes inference memory-intensive and slow. While context distillation (CD) can transfer information into model parameters, per-prompt distillation is impractical due to training costs and latency. To address these limitations, we propose Doc-to-LoRA (D2L), a lightweight hypernetwork that meta-learns to perform approximate CD within a single forward pass. Given an unseen prompt, D2L generates a LoRA adapter for a target LLM, enabling subsequent queries to be answered without re-consuming the original context, reducing latency and KV-cache memory consumption during inference of the target LLM. On a long-context needle-in-a-haystack task, D2L successfully learns to map contexts into adapters that store the needle information, achieving near-perfect zero-shot accuracy at sequence lengths exceeding the target LLM's native context window by more than 4x. On real-world QA datasets with limited compute, D2L outperforms standard CD while significantly reducing peak memory consumption and update latency. We envision that D2L can facilitate rapid adaptation of LLMs, opening up the possibility of frequent knowledge updates and personalized chat behavior.