TF-Engram: A Train-Free Engram with SSD-Backed Memory for Large Language Models

📄 arXiv: 2607.07388v1 📥 PDF

作者: Yutang Ma, Kecheng Huang, Xikun Jiang, Zili Shao

分类: cs.CL, cs.LG

发布日期: 2026-07-08

备注: 13 pages, 2 figures

💡 一句话要点

提出TF-Engram以解决大语言模型知识扩展问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 Engram记忆 无训练系统 SSD存储 预测预取 语义保真度 知识扩展

📋 核心要点

  1. 现有方法在知识扩展方面成本高昂，且短语级语义保真度受到哈希压缩的影响。
  2. TF-Engram通过离线构建短语特定的语义记忆，利用SSD存储和预测预取技术来解决上述问题。
  3. 实验结果显示，TF-Engram在Qwen3-0.6B模型上显著提升了下游任务得分，且降低了GPU内存需求。

📝 摘要（中文）

大型语言模型（LLMs）在其密集的Transformer参数中隐式存储事实知识和领域特定模式，导致知识扩展的成本高昂。现有的Engram式内存设计依赖于哈希压缩，造成无关短语在共享槽中碰撞，削弱了短语级的语义保真度。本文提出TF-Engram，一个无训练的Engram系统，能够离线构建短语特定的语义记忆，并在GPU-DRAM-SSD层次结构中存储大规模内存表。通过早期退出引导预测预取技术，TF-Engram在自回归解码过程中隐藏外部内存延迟。在Qwen3-0.6B模型上，TF-Engram将平均下游得分从57.6提升至59.4，超越了冻结的基础模型和参数匹配的LoRA基线。这些结果表明，静态短语记忆可以作为可扩展、无训练和低开销的系统组件集成到LLM推理中。

🔬 方法详解

问题定义：本文旨在解决大型语言模型在知识扩展过程中面临的高成本和短语级语义保真度不足的问题。现有方法依赖哈希压缩，导致无关短语碰撞，影响模型性能。

核心思路：TF-Engram的核心思想是构建一个无训练的Engram系统，通过离线从外部语料库构建短语特定的语义记忆，并利用SSD存储来降低GPU内存需求，同时通过预测预取技术来隐藏外部内存访问的延迟。

技术框架：TF-Engram的整体架构包括三个主要模块：短语特定语义记忆的离线构建、GPU-DRAM-SSD层次存储管理，以及早期退出引导预测预取机制。这些模块协同工作以提升模型的推理效率。

关键创新：TF-Engram的主要创新在于其无训练的短语记忆构建方式和SSD支持的存储策略，这与传统的依赖于哈希压缩的设计有本质区别，显著提升了短语级语义保真度。

关键设计：在设计中，TF-Engram采用了大规模内存表的构建策略，优化了SSD存储的使用，确保了在自回归解码过程中通过预测预取技术有效地减少了外部内存访问带来的吞吐量损失。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在Qwen3-0.6B模型上，TF-Engram将平均下游得分从57.6提升至59.4，超越了冻结的基础模型和参数匹配的LoRA基线，展示了其在性能上的显著提升。同时，SSD支持的存储显著降低了GPU内存需求，提升了系统的整体效率。

🎯 应用场景

TF-Engram的研究成果在多个领域具有潜在应用价值，包括自然语言处理、知识图谱构建和智能问答系统等。通过有效整合短语记忆，模型能够更快速地响应用户查询，并提供更准确的信息，未来可能推动智能助手和对话系统的进一步发展。

📄 摘要（原文）

Large Language Models (LLMs) store factual knowledge and domain-specific patterns implicitly in dense Transformer parameters, making knowledge expansion costly through pretraining, fine-tuning, retrieval augmentation, or longer contexts. Engram-style memory offers a compact hidden-state injection pathway, but existing GPU-resident designs often rely on hash-based compression, causing unrelated phrases to collide in shared slots and weakening phrase-level semantic fidelity. We present TF-Engram, a train-free Engram system that constructs phrase-specific semantic memory offline from external corpora, stores large memory tables across a GPU--DRAM--SSD hierarchy, and uses Early-Exit Guided Predictive Prefetching to hide external-memory latency during autoregressive decoding. On Qwen3-0.6B, TF-Engram improves the average downstream score from 57.6 to 59.4, outperforming both the frozen backbone and a parameter-matched LoRA baseline. System evaluation shows that large TF-Engram tables can be built with moderate offline cost, SSD-backed storage substantially reduces GPU memory demand, and predictive prefetching recovers much of the throughput loss caused by external memory access. These results demonstrate that static phrase memory can be integrated into LLM inference as a scalable, train-free, and low-overhead system component.