Thinker-WM: A Unified World Model with Shared Multimodal Representations for Embodied Intelligence
作者: Thinker Team, Peng Gao, Jichao Jiao, Chen Liao, Daqin Luo, Yiming Ma, Baiyu Pan, Hailin Shi, Jiyuan Wang, Xiangming Xu, Xiongwei Zhao
分类: cs.AI, cs.CV, cs.RO
发布日期: 2026-10-13
备注: \href{https://thinkercosmos.ubtrobot.com/thinker-wm}{Project Page}
💡 一句话要点
提出Thinker-WM以解决多模态世界模型的碎片化问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics) 支柱六：视频提取与匹配 (Video Extraction) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态世界模型 统一动态变换器 机器人动作生成 视觉动态建模 几何结构 动作条件生成 深度学习
📋 核心要点
- 现有的世界模型在模态建模和功能支持上存在碎片化，导致信息整合不足。
- Thinker-WM通过共享的统一动态变换器联合建模视觉、几何和动作，提升了多模态信息的整合能力。
- 在多项评估中，Thinker-WM表现优异，排名第一，展示了其在动作条件、几何交互和多功能训练方面的优势。
📝 摘要（中文）
世界模型作为一种有前景的体现智能范式，现有系统在建模模态和支持功能上往往存在碎片化问题。特别是视觉动态、几何结构和可执行动作通常通过独立接口或下游模块耦合，而不是在共享动态模型中共同表示和演化。本文提出的Thinker-WM是一个统一的多模态世界模型，通过共享的中间统一动态变换器联合建模和生成RGB、度量深度和机器人动作。该模型在表示层面实现多模态统一，外观、几何和动作被转化为共同的动态表示，并通过共享参数共同演化，同时保留其独特的输出结构。该模型支持多种功能，包括联合视频-动作生成、世界预测、策略推理等。实验表明，Thinker-WM在多个体现世界模型评估中表现优异。
🔬 方法详解
问题定义：本文旨在解决现有多模态世界模型在视觉动态、几何结构和可执行动作建模上的碎片化问题，导致信息整合不足，影响系统性能。
核心思路：提出Thinker-WM，通过共享的统一动态变换器，联合建模RGB图像、深度信息和机器人动作，实现多模态信息的整合与演化，提升模型的整体性能和功能多样性。
技术框架：Thinker-WM的整体架构包括共享的统一动态变换器、模态特定的编码器和解码器。模型首先将不同模态的信息转化为共同的动态表示，然后通过共享参数进行联合演化，最后生成各自的输出结构。
关键创新：最重要的创新在于实现了多模态信息的统一表示，突破了传统方法中模态之间的隔离，允许不同模态信息在同一框架下共同演化。
关键设计：模型采用了轻量级的运动探测器来验证共享表示中是否包含与动作相关的信息，同时在训练过程中使用了多种数据源，包括真实机器人数据和仿真数据，以增强模型的泛化能力。
🖼️ 关键图片
📊 实验亮点
在多个体现世界模型评估中，Thinker-WM表现出色，排名第一于EWMBench、WorldOlympiad和WorldArena。实验结果显示，模型在动作条件、几何交互和多功能训练方面的设计显著提升了性能，展示了其在复杂任务中的有效性。
🎯 应用场景
Thinker-WM的研究成果在机器人导航、自动驾驶、虚拟现实等领域具有广泛的应用潜力。通过实现多模态信息的有效整合，该模型能够提升智能体在复杂环境中的决策能力和适应性，推动体现智能的发展。未来，随着数据集的扩展和模型的优化，Thinker-WM有望在更多实际应用中发挥重要作用。
📄 摘要（原文）
World models have emerged as a promising paradigm for embodied AI, yet existing systems often remain fragmented in the modalities they model and the functions they support. In particular, visual dynamics, geometric structure, and executable action are commonly coupled through separate interfaces or downstream modules rather than being jointly represented and evolved within a shared dynamics model. In this work, we present Thinker-WM, a unified multimodal world model that jointly models and generates RGB, metric depth, and robot action through a shared intermediate Unified Dynamics Transformer with modality-specific encoders and decoders. The model performs multimodal unification at the representation level: appearance, geometry, and action are transformed into a common dynamic representation and jointly evolved by shared parameters, while their distinct output structures are preserved. The same parameterization supports multiple functions, including joint video-action generation, world prediction, policy inference, action-conditioned generation, video-to-action generation, and inverse dynamics. To examine whether the shared representation captures action-related information, we introduce a lightweight motion probe that shows the frozen visual representation contains recoverable motion information. Thinker-WM is trained on a heterogeneous corpus comprising approximately 20K hours of egocentric video, 10K hours of real-robot data, and 1K hours of simulation data, including approximately 4K hours of real-robot data with aligned depth supervision. Extensive experiments demonstrate strong performance across embodied world-model evaluations. Thinker-WM ranks first on EWMBench, WorldOlympiad and WorldArena, while controlled studies further demonstrate the benefits of action conditioning, geometric interaction, and multi-function training within the shared representation.