UniW(A)M: A Unified Mixture-of-Experts Framework for World and World-Action Models

📄 arXiv: 2610.18697v1 📥 PDF

作者: Jingbo Xu, Jianjie Fang, Zhuohang Li, Zihao Song, Zhaolu Wang, Xvyuan Liu, Xin Zhang, Haisheng Su, Yinzhou Tang, Chen Gao, Wei Wu, Yong Li

分类: cs.RO, cs.AI, cs.CV, cs.LG

发布日期: 2026-10-13

备注: Under review at ICLR 2027. 34 pages, 19 figures, 15 tables

💡 一句话要点

提出UniW(A)M框架以解决世界模型与动作模型的知识孤岛问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 世界模型 动作模型 混合专家 扩散Transformer 自适应接口路由 知识重用 机器人控制 智能决策

📋 核心要点

  1. 现有的世界模型和动作模型通常孤立训练，导致知识重用受限，影响了模型的整体性能和效率。
  2. 本文提出UniW(A)M框架，通过混合专家模型统一世界建模和动作生成，优化了知识共享与任务执行。
  3. 在LIBERO、RoboTwin 2.0等多个任务中，UniW(A)M的成功率达88.3%，显著高于最强基线的76.7%。

📝 摘要（中文）

世界模型（WMs）和世界动作模型（WAMs）分别关注未来世界预测和可执行动作生成。现有模型通常孤立训练，限制了预测与控制之间的知识重用。为此，本文提出了UniW(A)M，一个基于扩散Transformer的混合专家框架，统一了动作条件的世界建模和多样化的WAM变体。共享专家捕捉共同动态，而原子能力专家在各接口间重用，保持各自的条件路径。实验表明，UniW(A)M在多个任务上显著提高了成功率，展示了其在实际应用中的潜力。

🔬 方法详解

问题定义：本文旨在解决世界模型与动作模型之间的知识孤岛问题，现有方法在训练时缺乏有效的知识共享，限制了模型的性能提升。

核心思路：提出UniW(A)M框架，利用混合专家模型设计，通过共享专家捕捉共同动态，同时保留各自的条件路径，以实现更高效的知识重用。

技术框架：UniW(A)M框架包括共享专家和原子能力专家，采用扩散Transformer结构，部署时通过自适应接口路由器（PAIR）选择合适的WAM接口，确保任务成功与执行效率的平衡。

关键创新：最重要的创新在于混合专家模型的设计，使得不同任务间的知识能够有效共享，同时保持各自的建模能力，突破了传统模型的局限性。

关键设计：在模型设计中，采用了特定的损失函数来优化共享动态的学习，同时在接口路由中引入了小样本学习策略，以提升模型在新任务上的适应能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，UniW(A)M在LIBERO和RoboTwin 2.0等任务中实现了88.3%的成功率，相较于最强基线提升了11.6%。在WorldArena上，UniW(A)M在所有任务中领先于其他动作条件世界建模方法，证明了其优越性。

🎯 应用场景

该研究的潜在应用领域包括机器人控制、自动驾驶、智能制造等，能够在复杂环境中实现更高效的决策与执行。未来，UniW(A)M框架有望推动智能体在动态环境中的自主学习与适应能力，提升实际应用的智能化水平。

📄 摘要（原文）

World models (WMs) and world-action models (WAMs) focus on future world prediction and executable action generation, respectively. Although these models learn shared physical dynamics and interaction semantics from embodied trajectories, they are typically trained in isolation, which restricts knowledge reuse between prediction and control. The central challenge is therefore to develop a unified learning framework that shares these dynamics while preserving the distinct modeling capabilities required by each paradigm. We propose UniW(A)M, a mixture-of-experts world-(action) model built upon diffusion Transformers that unifies action-conditioned world modeling and diverse WAM variants. Shared experts capture common dynamics, while atomic capability experts are reused across interfaces so that each interface keeps its own conditional pathway. At deployment, a plug-in adaptive interface router (PAIR) learns from a small subset of target-task chunk scenarios to select a suitable WAM interface for each execution chunk, balancing task success and execution efficiency while keeping the backbone frozen. We evaluate UniW(A)M on LIBERO, RoboTwin 2.0, and three real-world manipulation tasks, where it achieves 88.3% average real-world success versus 76.7% for the strongest baseline. On WorldArena, it leads action-conditioned world modeling on all three tasks. AC-WM co-training contributes to action generation on every action interface and PAIR raises OOD success from 63.3% to 76.7%.