Internalizer: Portable Context-to-Parameter Mapping for Very Large Language Models

📄 arXiv: 2610.11715v1 📥 PDF

作者: Peter Devine, Nick Ryan, Benjamin Sirb, Alex Chiocchi

分类: cs.AI, cs.CL, cs.LG

发布日期: 2026-10-08

备注: 14 pages, 3 figures, 1 table

💡 一句话要点

提出Internalizer以实现超大语言模型的上下文到参数映射

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 超网络 上下文映射 LoRA适配器 大规模模型 自然语言处理 模型迁移 文档理解

📋 核心要点

  1. 现有方法在超大语言模型上应用上下文到参数映射时，面临参数规模限制和训练成本高的问题。
  2. 论文提出的Internalizer通过超网络生成文档特定的LoRA适配器，能够在大规模模型上高效应用上下文信息。
  3. 实验结果显示，生成的适配器在未见文档上实现了84.9%的top-1和97.8%的top-5准确率，显著优于基础模型的表现。

📝 摘要（中文）

超网络直接将上下文映射到LoRA适配器，使大型语言模型能够在其权重中携带上下文，但之前的研究仅在最多140亿参数的基础模型上进行。本文提出了Internalizer，这是一种先进的、可移植的上下文到参数映射超网络，能够为冻结的2840亿参数DeepSeek v4 Flash生成文档特定的LoRA适配器，目标比以往任何工作大两个数量级。在未见文档上，生成的适配器在63.4%和83.5%的基础模型上达到了84.9%的top-1和97.8%的top-5教师强制准确率，且仅需三词指令作为上下文。一旦超网络训练完成，单次前向传播即可将任何文档转换为适配器，既可单独服务以提高速度，也可与文档一起使用以进一步提高准确性。

🔬 方法详解

问题定义：论文要解决的是如何在超大语言模型中有效地将上下文信息映射到模型参数，现有方法在参数规模和训练效率上存在明显不足。

核心思路：Internalizer通过构建一个可移植的超网络，能够为特定文档生成LoRA适配器，从而实现高效的上下文映射。该设计使得模型在训练小型模型后，能够轻松迁移到更大的模型上。

技术框架：整体架构包括一个模型无关的主干网络，配合每个基础模型的薄入口和出口层。训练时，先在小型模型上进行适配器的生成，随后迁移到大型模型进行应用。

关键创新：最重要的技术创新在于能够在2840亿参数的DeepSeek v4 Flash上实现上下文到参数的映射，且训练成本显著低于以往方法。

关键设计：关键参数设置包括超网络的结构设计、损失函数的选择，以及适配器生成的具体流程，确保了在不同模型间的高效迁移和准确性提升。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果显示，Internalizer生成的适配器在未见文档上达到了84.9%的top-1和97.8%的top-5准确率，相较于基础模型的63.4%和83.5%有显著提升，展示了其在超大语言模型应用中的强大能力。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、文档理解和智能助手等。通过高效的上下文映射，Internalizer可以显著提升大型语言模型在特定任务上的表现，具有广泛的实际价值和深远的未来影响。

📄 摘要（原文）

Hypernetworks that map a context directly to a LoRA adapter let a large language model carry that context in its weights, but prior work has demonstrated them only on base models of up to 14 billion parameters. We present the Internalizer, a state-of-the-art, portable Context-to-Parameter Mapping hypernetwork that generates document-specific LoRA adapters for the frozen 284B-parameter DeepSeek v4 Flash, a target two orders of magnitude larger than in any previous work. Most of its parameters live in a model-agnostic trunk with only thin entry and exit layers per base model, so it trains cheaply against small models before being ported to the large one. On unseen documents of up to 4096 tokens, the generated adapters reach 84.9% top-1 and 97.8% top-5 teacher-forced accuracy against 63.4% and 83.5% for the base model, with nothing in the context window but a three-word instruction. Once the hypernetwork is trained, a single forward pass turns any document into an adapter for such a model, which could be served alone for speed or alongside the document in the window to raise accuracy further.