UniWALM: Unified World Action Language Model for Embodied Robot Control

📄 arXiv: 2610.28626v1 📥 PDF

作者: Rahul Sajnani, Diego Romeres, Mingyuan Zhang, Kai Gao, Carl Qi, Baichuan Huang, Srinath Sridhar, Dylan Randle, Lillian J. Ratliff, Jose Barreiros, Manikantan Nambi, Jeroen Vanbaar

分类: cs.RO, cs.AI, cs.CV

发布日期: 2026-10-20

备注: Preprint: 25 pages

💡 一句话要点

提出UniWALM以解决机器人控制中的多模态学习问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态学习 机器人控制 语言生成 视频理解 动作执行 流匹配与修正 智能家居 人机交互

📋 核心要点

  1. 现有方法通常将推理或视觉-语言模型与视频-动作骨干分开处理，导致信息整合不足。
  2. UniWALM通过在单一骨干网络中统一视频、动作和语言模态，实现了模态间的同步去噪和语言生成。
  3. 在多个任务中，UniWALM的表现显著优于同骨干基线，特别是在真实场景中的成功率大幅提升。

📝 摘要（中文）

本研究提出了UniWALM，一个统一的世界-动作-语言模型，旨在通过共享表示学习视频、动作和语言。该模型将三种模态整合在一个混合变换器骨干网络中，允许模态间的同步去噪和语言生成，提升了操控能力并支持记忆依赖行为。实验结果显示，UniWALM在多个任务上超越了现有基线，尤其在真实世界的Find-the-Item任务中，成功率从11.1%提升至61.1%。

🔬 方法详解

问题定义：本论文旨在解决机器人控制中多模态学习的整合问题。现有方法往往将不同模态分开处理，导致信息流失和效率低下。

核心思路：UniWALM通过将视频、动作和语言模态整合在一个统一的框架中，利用混合变换器架构实现模态间的协同学习，从而提升操控能力和记忆依赖行为的支持。

技术框架：该模型采用混合变换器骨干网络，模态间的去噪头同步工作，允许在同一推理过程中生成语言和执行动作，避免了传统方法中的分阶段处理。

关键创新：UniWALM的主要创新在于将语言生成与动作执行结合在一起，形成一个语言作为记忆的闭环，而无需外部规划器或记忆库。

关键设计：在训练过程中引入了流匹配与修正（FMC）目标，以提高在扰动动作轨迹下的恢复能力，且在推理时没有额外成本。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在多个实验中，UniWALM在组合性抓取任务（MolmoSpaces）和记忆依赖子集（RMBench）上均表现优异，成功率达到34.5%。在真实世界的Find-the-Item任务中，文本记忆生成使成功率从11.1%提升至61.1%，显著优于现有视觉-语言模型的表现。

🎯 应用场景

UniWALM的研究成果在机器人控制、自动化操作和人机交互等领域具有广泛的应用潜力。通过提升机器人在复杂环境中的操作能力，该模型能够在智能家居、工业自动化和服务机器人等场景中发挥重要作用，推动机器人技术的进一步发展。

📄 摘要（原文）

Motivated by the human ability to integrate experience across language, perception, and action, we introduce UniWALM, a unified world-action-language model that learns video, action, and language in a single shared representation, where each modality is both a conditioning signal and a supervision target. We ask: can jointly generating language enrich this shared representation, improving manipulation and supporting memory-dependent behavior? Unlike prior approaches that attach a reasoning or vision-language model to a video-action backbone and run them as distinct stages, UniWALM unifies all three modalities inside a single mixture-of-transformers backbone whose per-modality diffusion heads co-denoise synchronously, decoding subtask and textual memory in the same pass as action with no separate planning stage; the generated language is re-consumed on the next step, closing a language-as-memory loop without an external planner or memory bank. To keep the action stream reliable under this richer objective, we further introduce Flow Matching with Correction (FMC), a training objective that teaches recovery from perturbed action trajectories at no inference-time cost. UniWALM consistently improves over same-backbone baselines (e.g., FastWAM) on compositional pick-and-place (MolmoSpaces) and across the memory-dependent subset of RMBench, where it reaches 34.5% without any pretrained language or reasoning model and exceeds Mem-0's keyframe-equipped setup (28.5%) using only a single anchor frame. On a real-world Find-the-Item task, generating textual memory lifts success from 11.1% to 61.1%, while state-of-the-art VLAs stay at or below chance (<=33.3%).