Learning What to Recall: Adaptive Multi-Cue Episodic Memory for World Models

📄 arXiv: 2609.34677v1 📥 PDF

作者: Beomsu Kim, Chieh-Hsin Lai, Bac Nguyen, Amir Bar, Jong Chul Ye, Yuki Mitsufuji

分类: cs.LG, cs.AI, cs.CV

发布日期: 2026-09-28

备注: Preprint, Project Page: https://1202kbs.github.io/FAR-Project-Page/

💡 一句话要点

提出未来感知回忆框架以解决世界模型中的记忆选择问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 情节记忆 未来感知 自适应检索 多线索评分 世界模型

📋 核心要点

  1. 现有的情节记忆方法在选择有用记忆时面临挑战，固定的选择标准在不同环境和查询中可能不可靠。
  2. 本文提出的未来感知回忆（FAR）框架，通过未来感知的预测监督和自适应多线索评分来优化记忆回忆过程。
  3. FAR在三种互补设置中表现优异，自动适应信任的线索，能够在环境变化时准确回忆相关历史。

📝 摘要（中文）

世界模型通过当前经验和行动预测未来观察，但预测可能依赖于远期观察。现有的情节记忆方法在记忆积累时面临选择哪些记忆有助于当前预测的挑战。本文提出未来感知回忆（FAR）框架，通过未来感知的预测监督和自适应多线索评分来学习情节回忆。FAR在训练期间通过条件对数似然度评估预测效用，并训练一个在推理时保持未来盲目的检索器。该检索器能够自动确定在选择记忆时信任哪些可用的检索线索。实验结果表明，FAR在多个设置中超越了手动设计的回忆方法，展示了其在动态环境中的灵活性和有效性。

🔬 方法详解

问题定义：本文旨在解决在世界模型中如何有效选择和回忆有用的情节记忆的问题。现有方法依赖于固定标准（如时间、姿态重叠或视觉相似性），在不同环境下可能导致不可靠的结果。

核心思路：提出未来感知回忆（FAR）框架，通过学习未来感知的预测监督来评估记忆的预测效用，从而优化回忆过程。该方法在推理时保持未来盲目性，确保检索器能够适应不同的查询。

技术框架：FAR框架包括训练阶段和推理阶段。在训练阶段，利用条件对数似然度来评估回忆上下文的预测效用，并通过负扩散预测损失来近似。推理阶段，检索器根据不同线索的相关性选择记忆。

关键创新：FAR的主要创新在于其自适应多线索评分机制，能够自动确定在不同查询中信任哪些检索线索，显著提高了情节记忆的灵活性和准确性。

关键设计：FAR使用条件对数似然度作为损失函数，结合多种线索（时间、姿态、视觉和音频）进行训练，确保检索器能够在多变的环境中有效选择相关记忆。该设计使得FAR在动态环境中表现出色。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，FAR在三种不同的设置中均优于手动设计的回忆方法，能够自动适应不同的检索线索。在相同的检索线索下，FAR的性能提升显著，展示了其在动态环境中的有效性和灵活性。

🎯 应用场景

该研究的潜在应用领域包括机器人导航、智能助手和增强现实等场景，能够帮助系统更好地理解和预测环境变化，从而提高交互的智能化水平。未来，FAR框架的灵活性和自适应能力可能在更广泛的人工智能应用中发挥重要作用。

📄 摘要（原文）

World models predict future observations from current experience and actions, yet prediction can depend on observations seen far in the past. Episodic memory preserves past observations for later recall; however, as memory accumulates, it raises a fundamental question: which memories are useful for the current prediction, and which available retrieval cues should be trusted to find them? This is challenging because fixed criteria based on recency, pose overlap, or visual similarity can be unreliable across environments and queries. We propose Future-Aware Recall (FAR), a framework that learns episodic recall from future-aware predictive supervision and adaptive multi-cue scoring. During training, FAR measures predictive utility by the conditional log-likelihood of the realized future given recalled context, approximated by negative diffusion prediction loss, and uses it to train a retriever that remains future-blind at inference. The retriever learns cue-specific relevance and automatically determines which available retrieval cues, such as time, pose, vision, and audio, to trust for each query when selecting memories. Across three complementary settings, FAR outperforms hand-designed recall even with the same retrieval cues, automatically adapts which available cues to trust, and recalls the right history as the world changes. Together, these results establish FAR as a flexible, principled approach to episodic memory access in world models.