Execution Before Memory: Diagnosing Memory Failures in Video World Models

📄 arXiv: 2610.23542v1 📥 PDF

作者: Weiyang Jin, Jiwen Yu, Sihan Xu, Yuwei Niu, Xihui Liu

分类: cs.CV, cs.CL

发布日期: 2026-10-16

备注: 27 pages, 7 figures. Project page: https://hku-mmlab.github.io/MIST/ Code: https://github.com/HKU-MMLab/MIST

💡 一句话要点

提出MIST与M3-Agent以解决视频世界模型中的记忆失败问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 视频世界模型 记忆测试 模型执行 MIST评估 M3-Agent 智能视频分析 机器人视觉

📋 核心要点

  1. 现有视频世界模型的记忆测试方法将多个因素合并为一个评分，导致无法准确诊断记忆失败的具体原因。
  2. 本文提出MIST评估方法，分离变更与记忆，先设置场景再请求展示，从而准确定位模型的瓶颈。
  3. 通过引入M3-Agent，递归修正指令，显著提高模型执行变更的成功率，实验结果显示性能大幅提升。

📝 摘要（中文）

针对视频世界模型的记忆测试，现有方法将场景设置、变更执行和结果展示合并为一个评分，导致低分易被解读为遗忘。本文提出MIST评估方法，将变更与记忆分离，首先设置场景而不立即执行变更，随后再请求展示，控制泄漏。这一方法揭示了模型在设置场景后未能执行变更的瓶颈。基于此，提出M3-Agent，通过递归修正输入指令，使模型成功执行请求的变更。相较于基线，MIST揭示分数提高了三倍，WRBench的得分提升26.1%，MBench-T的得分提升52.7%。

🔬 方法详解

问题定义：本文旨在解决视频世界模型中记忆测试的不足之处，现有方法无法有效区分场景设置、变更执行和结果展示，导致记忆失败的诊断不准确。

核心思路：提出MIST评估方法，通过先设置场景而不立即执行变更，随后请求展示，控制信息泄漏，从而分离变更与记忆，准确定位模型的执行瓶颈。

技术框架：整体流程分为两个主要阶段：第一阶段设置场景，第二阶段请求展示变更。M3-Agent在此基础上，通过递归修正输入指令，确保模型能够成功执行请求的变更。

关键创新：MIST方法的核心创新在于将变更与记忆分离，提供了更严格的评估基线，揭示了模型在执行指令时的具体问题，与现有方法相比，能够更准确地诊断记忆失败。

关键设计：在M3-Agent中，设计了递归修正机制，以动态调整输入指令，确保模型能够理解并执行请求的变更，具体的损失函数和网络结构细节在实验中进行了优化。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，M3-Agent相较于基线模型，MIST揭示分数提高了三倍，WRBench得分提升26.1%，MBench-T得分提升52.7%。这些结果表明，提出的方法在执行变更方面显著提高了模型的性能，具有较强的实用性。

🎯 应用场景

该研究的潜在应用领域包括智能视频分析、机器人视觉系统和自动驾驶等。通过提高视频世界模型的记忆和执行能力，可以在复杂场景中实现更高效的决策和行为执行，具有重要的实际价值和未来影响。

📄 摘要（原文）

A memory test for a video world model should say whether the scene was set, whether the asked change was carried out, and whether the last frame shows the result. Current tests fold these into one number, so a low score is easy to read as forgetting. When the change is not carried out, the hidden state transition cannot appear, so the test is not really a test of memory. We introduce MIST, an evaluation that separates the change from the memory it should leave behind. The model first sets the scene while the change stays hidden, and only later is asked to show it, with leakage before that point kept under control. This separation locates the bottleneck: the model sets the scene but does not carry out the instructed change. The same gap appears in general memory evaluations. On that basis we propose M3-Agent (Make the Missing Move), which recursively revises the details of the input instruction so that the model successfully carries out the requested instruction. Relative to the baseline, it more than triples the MIST reveal score. On the benchmarks, WRBench's score T rises by 26.1% and MBench-T's score U by 52.7%. The method meets the problem from the execution side: it shows what the frozen model can do once the move is stated, and it sets a stricter baseline.