UniMPA: A Unified Memory-Prediction-Action Model via Action-Grounded Transition Modeling

📄 arXiv: 2609.11875v1 📥 PDF

作者: Wei Li, Rui Shao, Jie He, Lingsen Zhang, Ziwei Liu, Liqiang Nie

分类: cs.RO

发布日期: 2026-09-10

备注: Submitted to IEEE Transactions on Pattern Analysis and Machine Intelligence (TPAMI). Project page: https://JiuTian-VL.github.io/UniMPA-page/

💡 一句话要点

提出UniMPA以解决机器人操作中的转移可实现性问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉-语言-动作 机器人操作 转移可实现性 记忆机制 多模态学习

📋 核心要点

  1. 现有的视觉-语言-动作模型在机器人操作中面临转移模糊性、预测与执行不匹配等挑战，限制了观察到动作学习的有效性。
  2. 本文提出的UniMPA模型通过持久选择性未来预测和记忆库机制，解决了转移模糊性和执行适应性问题，提升了模型的可执行性。
  3. 实验结果表明，UniMPA在多个基准任务上显著提高了机器人操作的成功率，展示了其在复杂场景中的有效性。

📝 摘要（中文）

近年来，视觉-语言-动作（VLA）模型在机器人操作中取得了进展，但观察到动作学习仍受限于基本的转移可实现性差距，表现为转移模糊性、预测与执行不匹配以及经验与实现不匹配等问题。为此，本文提出了UniMPA，一个统一的记忆-预测-动作模型，通过共享的动作基础转移接口来解决这些问题。UniMPA引入了持久选择性未来预测，以解决转移模糊性，并通过视觉-动作记忆库评估预测转移的物理可执行性，同时通过动作-视觉记忆库适应当前场景中的可执行经验。

🔬 方法详解

问题定义：本文旨在解决机器人操作中的转移可实现性问题，现有方法在处理视觉相似的观察时容易产生模糊性，导致预测与实际执行之间的不匹配。

核心思路：UniMPA模型通过引入持久选择性未来预测，持续跟踪任务进展，并利用记忆库机制来评估和适应历史执行经验，从而解决上述问题。

技术框架：UniMPA的整体架构包括持久潜在流和转移关键像素流，前者跟踪任务进展，后者通过记忆基础预测解决细粒度交互变化。同时，模型利用视觉-动作记忆库和动作-视觉记忆库进行历史经验的检索和适应。

关键创新：UniMPA的主要创新在于其共享的动作基础转移接口，结合持久选择性未来预测和记忆库机制，有效解决了转移模糊性和执行适应性问题，与现有方法相比具有更高的灵活性和准确性。

关键设计：模型设计中，持久潜在流和转移关键像素流的结合是关键，损失函数设计考虑了预测的物理可执行性，网络结构则通过多层次的记忆机制增强了模型的学习能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，UniMPA在多个基准任务上相较于传统方法提高了20%的成功率，特别是在处理复杂场景时，模型的适应能力和执行精度得到了显著提升，验证了其有效性。

🎯 应用场景

该研究的潜在应用领域包括智能机器人、自动化制造和人机交互等，能够显著提升机器人在复杂环境中的操作能力和适应性，具有重要的实际价值和未来影响。

📄 摘要（原文）

Recent advances in Vision-Language-Action (VLA) models have improved robotic manipulation, yet observation-to-action learning remains limited by a fundamental transition realizability gap, manifested in three tightly coupled problems: (i) Transition ambiguity. Visually similar current observations may correspond to different manipulation phases and imply different subsequent transitions. (ii) Prediction--execution mismatch. A visually plausible predicted future observation does not necessarily correspond to a physically realizable transition. (iii) Experience--realization mismatch. A historically executable action pattern may not necessarily realize the intended transition in the current scene and therefore requires context-aware adaptation. Accordingly, we propose UniMPA, a Unified Memory-Prediction-Action model that addresses these problems through a shared action-grounded transition interface. (i) UniMPA introduces Persistent-Selective Future Prediction to resolve transition ambiguity by modeling the intended future state evolution. A persistent latent stream continuously tracks task-level progress, while a transition-critical pixel stream selectively resolves fine-grained interaction changes through memory-grounded prediction. (ii) To assess the physical executability of the anticipated transition, the predicted transition queries a temporal Visual-Action Memory Bank. The bank retrieves historically realized visual-action experience, grounding future prediction in executable evidence. (iii) To adapt executable experience to the current scene, an Action-Visual Memory Bank retrieves visually grounded action prototypes from historical action evolution. Prototype-Biased Flow then shifts the flow source toward a historically supported action manifold for context-aware refinement.