Hy-Memory-30B-A3B: Attributed Reinforcement Learning for Long-Term Memory Writing

📄 arXiv: 2610.22196v1 📥 PDF

作者: Tianxiang Fei, Jiazheng Kang, Mao Zheng, Xingyan He, Xiang Yu

分类: cs.CL

发布日期: 2026-10-15

💡 一句话要点

提出Hy-Memory-30B-A3B以解决长时记忆写入问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 外部记忆系统 长期记忆 强化学习 记忆蒸馏 自然语言处理 智能问答 模型迁移

📋 核心要点

  1. 现有的外部记忆系统在写入路径的执行上存在不足，导致服务成本高且无法跨协议迁移。
  2. Hy-Memory-30B-A3B通过记忆在线蒸馏和记忆强化学习，提供了一种统一的长期记忆写入解决方案。
  3. 在固定的20%基准子样本上，Hy-Memory-30B-A3B在所有评估框架中表现优异，宏观平均得分达到55.49%。

📝 摘要（中文）

外部记忆系统扩展了语言模型的应用范围，但其质量依赖于执行写入路径的模型。现有框架通常将通用大型语言模型置于特定框架的提示后，这导致了服务成本的增加，并且一个协议专用的写入器无法直接转移到另一个协议。本文提出的Hy-Memory-30B-A3B是一个紧凑的长期记忆写入器，经过Mem0、MemOS和Hy-Memory的训练。通过记忆在线蒸馏，学习特定框架的写入协议，随后使用记忆强化学习优化下游可回答性。实验结果显示，Hy-Memory-30B-A3B在固定的20%基准子样本上，在所有四个评估框架中均排名第一。

🔬 方法详解

问题定义：本文旨在解决外部记忆系统中写入路径的效率和适应性问题。现有方法通常依赖于特定框架的通用大型语言模型，导致服务成本高且难以迁移。

核心思路：Hy-Memory-30B-A3B通过统一的模型架构，结合记忆在线蒸馏和记忆强化学习，优化了长期记忆的写入过程，以适应不同的框架需求。

技术框架：整体架构包括记忆在线蒸馏模块和记忆强化学习模块。前者负责学习框架特定的写入协议，后者则通过密集的分块探测和跨块奖励优化下游任务的可回答性。

关键创新：最重要的创新在于提出了一个统一的长期记忆写入器，能够跨多个记忆框架进行训练和部署，显著提高了写入效率和适应性。

关键设计：在设计中，采用了基于分块的奖励机制、存储控制和分块级别的GRPO，确保了训练过程与实际部署的一致性。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

在固定的20%基准子样本上，Hy-Memory-30B-A3B在所有四个评估框架中均排名第一，宏观平均得分达到55.49%，相比Claude Opus 5的54.62%有显著提升，展示了其在长期记忆写入任务中的优越性能。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、智能问答系统和人机交互等。通过提高外部记忆系统的写入效率和适应性，Hy-Memory-30B-A3B可以在多种场景中提供更高质量的服务，推动智能系统的进一步发展。

📄 摘要（原文）

External-memory systems extend language-model applications beyond a context window, but their quality depends critically on the model executing the write path: deciding what to retain, how precisely to represent it, and how new evidence should update persistent state. Existing frameworks typically place a general-purpose large language model behind framework-specific prompts. This raises serving cost, and a writer specialized for one protocol does not transfer directly to another; a unified model that can operate across established memory frameworks remains largely unexplored. We present Hy-Memory-30B-A3B, a compact long-term-memory writer trained across Mem0, MemOS, and Hy-Memory. Memory On-Policy Distillation teaches framework-specific write protocols on student-generated states; Memory RL then optimizes downstream answerability using dense per-chunk probes, attributed cross-chunk rewards, over-storage controls, and chunk-level GRPO. Carrying policy-written banks across windows keeps training aligned with deployment. On fixed 20% benchmark subsamples, Hy-Memory-30B-A3B ranks first on all four evaluated harnesses, including held-out EverMemOS, with a 55.49% macro average versus 54.62% for Claude Opus 5.