MemT-1.0: Towards Memory-Native Evolution

📄 arXiv: 2610.26825v1 📥 PDF

作者: Zhiyu Li, Zeyu Zhang, Linyun Liu, Yiwei Bu, Chenyang Xi, Xichong Zhang, Yi Yu, Yu Yu, Zhichen Liu, Yuxiao Yi, Chunyu Li, Haoran Liu, Zhenkai Ding, Le Zhou, Juncheng Zhang, Boyu Chen, Zehao Lin, Guorui Li, Renyu Fu, Ji Li, Youyang Xia, Jiajun Shen, Harvey Li, Jingsong Zhou, Helan Hu, Tong Shen, Tianxiao Xu, Chenye Han, Weijie Li, Zhongquan Zhou, Hongming Xu, Yuekeng Li, Erenkai Zhu, Peng Yu, Wenhao Li, Jingyi Kang, Xixuan Hao, Xuzhou Zhu, Can Chen, Jiawei Liu, Chen Jiang, Tao Jiang, Fangwei Xiang, Zepeng Yao, Kai Chen, Guang Yang, Mingfei Lu, Chunhui Li, Zhengxuan Jiang, Bo Tang, Shiyu Zhan, Yihang Sun, Jie Chu, Wenjun Xiong, Zhenxiang Hua, Chen Lin, Detong Su, Dongyu Deng, Qiuping Ding, Guofeng Ding, Si Chen, Guohua Wen, Xu Chen, Zhi-Qin John Xu, Ying-Cong Chen, Ningyu Zhang, Haofen Wang, Muning Wen, Haotian Chen, Wentao Zhang, Xuanhe Zhou, Rita Zhang, Junchi Yan, Feiyu Xiong

分类: cs.CL, cs.LG

发布日期: 2026-10-19

备注: 66 pages, 15 figures, 16 tables

💡 一句话要点

提出MemT-1.0以实现记忆本土化演化

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 记忆模型 基础模型 Gated DeltaNet-2 混合存储 智能代理 推理加速 信息利用 模型训练

📋 核心要点

  1. 现有方法在记忆能力上存在不足，无法有效持续积累和利用信息。
  2. MemT-1.0通过将记忆内化为模型计算的一部分，采用Gated DeltaNet-2和混合存储机制，提升了记忆能力。
  3. 实验结果表明，MemT-1.0在多个任务上超越了传统参数记忆基线，并实现了显著的推理速度提升。

📝 摘要（中文）

记忆本土化演化要求将记忆作为基础模型的内在能力，使其能够持续积累和利用信息。为此，我们介绍了MemT-1.0，这是一种新的记忆基础模型架构，将记忆内化为模型计算的一部分。MemT-1.0基于Metis，采用Gated DeltaNet-2，并在每个回合内实现稳定的令牌级记忆更新机制。我们进一步引入了混合存储以扩展本土记忆容量。在经过精心的骨干准备后，我们开发了一个包含持续预训练和后训练的两阶段训练流程，支持34B令牌的训练数据和高效的训练与推理基础设施。我们发布了包括MemT-1.0-Nano和MemT-1.0-Flash在内的模型家族，并对记忆和通用能力进行了全面评估。结果显示，它们在平均上超越了参数记忆基线，并与增强检索方法保持竞争力，同时大幅保留通用能力。在历史长度为128K令牌时，MemT-1.0-Nano实现了约1.86倍的端到端推理加速和相较于完整上下文KV缓存的66倍持久存储减少。通过内化检索的程序经验，MemT-1.0提高了代理任务的成功率，为记忆本土化演化提供了实际步骤。

🔬 方法详解

问题定义：本论文旨在解决基础模型在记忆能力上的不足，现有方法无法有效地持续积累和利用信息，限制了模型的智能化水平。

核心思路：MemT-1.0的核心思想是将记忆内化为模型计算的一部分，通过Gated DeltaNet-2实现稳定的记忆更新机制，从而提升模型的记忆能力和信息利用效率。

技术框架：MemT-1.0的整体架构包括两个主要阶段：持续预训练和后训练，结合34B令牌的训练数据和高效的训练基础设施，确保模型的高效性和准确性。

关键创新：最重要的技术创新在于引入了混合存储机制，扩展了模型的本土记忆容量，使得模型能够在更大范围内有效利用历史信息，与现有方法相比，显著提升了记忆的灵活性和效率。

关键设计：在模型设计中，采用了Gated DeltaNet-2结构，确保了记忆更新的稳定性，同时在参数设置上进行了优化，以适应大规模数据的训练需求。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

MemT-1.0-Nano在历史长度为128K令牌时，实现了约1.86倍的端到端推理加速，并相较于完整上下文KV缓存减少了66倍的持久存储需求。这些结果表明，MemT-1.0在记忆能力和推理效率上均有显著提升，超越了传统的参数记忆基线。

🎯 应用场景

MemT-1.0的研究成果在多个领域具有潜在应用价值，包括智能代理、对话系统和个性化推荐等。通过提升模型的记忆能力，能够更好地理解用户需求，提供更加智能化的服务，推动人工智能技术的进一步发展。

📄 摘要（原文）

Memory-native evolution requires making memory an intrinsic capability of foundation models, enabling them to continuously accumulate and utilize information. To this end, we introduce MemT-1.0, a new architecture of memory foundation models that internalize memory as part of model computation. Building on Metis, MemT-1.0 employs Gated DeltaNet-2 with a stable token-level memory update mechanism within each turn. We further introduce Mixture-of-Storage to scale native memory capacity. Following a deliberate backbone preparation, we develop a two-stage training pipeline consisting of continued pre-training and post-training, supported by 34B tokens of training data and efficient training and inference infrastructure. We release a model family comprising MemT-1.0-Nano and MemT-1.0-Flash, and conduct a comprehensive evaluation of memory and general capabilities. The results show that they outperform the parametric memory baselines on average and remain competitive with retrieval-augmented methods, while largely preserving general capabilities. At a history length of 128K tokens, MemT-1.0-Nano achieves approximately $1.86\times$ end-to-end inference speedup and a $66\times$ reduction in persistent storage relative to full context KV cache. By internalizing retrieved procedural experience, MemT-1.0 improves task success on agentic tasks, providing a practical step toward memory-native evolution.