ER-JEPA: Experience Replay Improves Joint-Embedding Predictive Learning in Language Models

📄 arXiv: 2609.36952v1 📥 PDF

作者: Jingnan Pu, Zi-En Fan, Feng Lian

分类: cs.CL, cs.AI

发布日期: 2026-09-29

备注: 20 pages, 15 figures, 6 tables

💡 一句话要点

提出ER-JEPA以解决语言模型预测不稳定问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 语言模型 联合嵌入 预测学习 情景重放 自然语言处理 机器学习

📋 核心要点

  1. 现有的LLM-JEPA方法虽然能够对齐不同视图，但在预测的准确性和稳定性上仍存在不足。
  2. ER-JEPA通过引入情景重放机制，允许模型在训练过程中存储和检索相关数据，从而增强监督信号。
  3. 实验结果显示，ER-JEPA在多个数据集上表现优异，显著提升了模型的预测性能。

📝 摘要（中文）

大型语言模型（LLMs）在标记级生成方面表现出色，但可能学习到不理想的抽象语义，缺乏全面的感知能力。LLM-JEPA通过联合嵌入预测架构（JEPA）对同一知识的不同视图进行对齐，从而缓解这一问题。然而，强对齐并不一定导致准确且稳定的预测。为了解决这一问题，本文提出ER-JEPA，在LLM-JEPA的基础上增加了一个情景重放路径。ER-JEPA在内存中存储训练对，在每一步中存储和检索相关数据，以提供额外的监督。这使得模型能够同时从当前批次和存储的训练对中学习，为标记预测和表示对齐提供额外的监督。实验结果表明，ER-JEPA在多个数据集（NL-RX、GSM8K、Spider和NQ-Open）上均优于LLM-JEPA。

🔬 方法详解

问题定义：本文旨在解决大型语言模型在预测过程中存在的准确性和稳定性不足的问题。现有的LLM-JEPA方法虽然能够对齐不同视图，但在实际应用中仍然面临预测不稳定的挑战。

核心思路：ER-JEPA的核心思路是引入情景重放机制，通过存储和检索训练对来增强模型的监督信号。这种设计使得模型能够从历史数据中学习，提升预测的稳定性和准确性。

技术框架：ER-JEPA的整体架构包括一个联合嵌入预测模块和一个情景重放模块。联合嵌入预测模块负责对齐不同视图的知识，而情景重放模块则在每个训练步骤中存储和检索相关的训练对。

关键创新：ER-JEPA的主要创新在于引入了情景重放机制，这一机制与现有的LLM-JEPA方法相比，提供了更强的监督信号，从而提高了模型的预测性能和稳定性。

关键设计：在ER-JEPA中，存储的训练对通过特定的策略进行选择，以确保检索到的数据与当前任务相关。此外，损失函数的设计也考虑了历史数据的影响，使得模型在训练过程中能够更好地利用过去的经验。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在多个数据集（NL-RX、GSM8K、Spider和NQ-Open）上的实验结果表明，ER-JEPA在预测性能上显著优于LLM-JEPA，具体提升幅度达到X%（具体数据待补充），证明了情景重放机制的有效性。

🎯 应用场景

ER-JEPA的研究成果具有广泛的应用潜力，尤其在自然语言处理、对话系统和信息检索等领域。通过提高语言模型的预测稳定性和准确性，该方法可以为智能助手、自动问答系统等提供更可靠的支持，进而提升用户体验和系统性能。未来，ER-JEPA的机制也可能被应用于其他类型的机器学习任务，推动更广泛的技术进步。

📄 摘要（原文）

Large language models (LLMs) excel at token-level generation but may learn undesirable abstract semantics and lack comprehensive perception. LLM-JEPA mitigates this by aligning different views of the same underlying knowledge via a joint-embedding predictive architecture (JEPA). However, strong alignment does not necessarily lead to accurate, stable predictions. To address this, we propose ER-JEPA, which adds an episodic replay path to LLM-JEPA. ER-JEPA stores training pairs in a memory. At each step, it stores and retrieves relevant data to provide additional supervision. This enables learning from both the current batch and stored training pairs, providing additional supervision for token prediction and representation alignment. Experiments across multiple datasets (NL-RX, GSM8K, Spider, and NQ-Open) demonstrate that ER-JEPA consistently outperforms LLM-JEPA.