InternW0: A Foundational Physical World Model for Efficient Real-World Interactions
作者: Jisong Cai, Yao Mu, Ganlin Yang, Zhe Cao, Zhangzheng Tu, Xing Gao, Kailin Li, Xinyu Zhan, Lixin Yang, Yangkun Zhu, Haoxiang Ma, Ming Zhou, Qiaojun Yu, Yufei Xue, Liqun He, Yifei Yao, Yifan Zhu, Long Ling, Bingqi Jiang, Haoyu Guo, Xueyue Zhu, Bowen Zhou, Bin Zhao, Tianfan Xue, Chunhua Shen, Weinan Zhang
分类: cs.RO, cs.AI
发布日期: 2026-09-23
备注: A technical report of world models, 24 pages, 8 figures, and 7 tables
💡 一句话要点
提出InternW0以实现高效的现实世界交互
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱四：生成式动作 (Generative Motion) 支柱六：视频提取与匹配 (Video Extraction)
关键词: 物理智能 异步处理 多模态接口 机器人控制 动态学习 科学任务 接触感知 视频-动作架构
📋 核心要点
- 现有方法在处理动态环境时，缺乏有效的可操作性和实时性，难以适应不断变化的现实世界。
- 提出InternW0，通过异步多频处理和局部物理建模，结合视频和动作的异步架构，实现未来动态与机器人控制的联合学习。
- 在7200小时的训练数据上，InternW0在多项科学任务中表现出色，展示了其在现实世界交互中的有效性和可扩展性。
📝 摘要（中文）
物理智能不仅需要预测世界如何演变，还需确保这些预测在世界变化时依然可操作。本文介绍了InternW0，这是上海人工智能实验室推出的InternW物理世界模型系列的首个实例，围绕全模态接口、异步多频处理和局部物理建模构建。InternW0通过不对称的视频-动作架构与流匹配，联合学习未来视觉动态和连续机器人控制。高容量视频专家提供更长时间的预测上下文，而轻量级动作专家则在更快的时间尺度上运行。InternW0在约7200小时的异构机器人和自我中心数据上进行训练，评估涵盖模拟基准和现实世界科学任务，推动了可扩展、异步和科学原生的物理世界模型的发展。
🔬 方法详解
问题定义：本论文旨在解决在动态环境中进行有效预测和控制的挑战，现有方法往往无法适应环境变化，导致预测失效。
核心思路：InternW0通过异步视频-动作架构，结合高容量视频专家和轻量级动作专家，能够在不同时间尺度上进行有效的动态学习和控制。
技术框架：InternW0的整体架构包括视频专家和动作专家两个主要模块，视频专家负责提供长时间的预测上下文，而动作专家则快速响应新的观察状态。
关键创新：InternW0的核心创新在于其层次化的K/V重用机制，能够在每次动作更新时，通过观察条件上下文路由适应新的状态，而不是重新生成未来。
关键设计：在模型设计中，采用了领域特定接口和软提示，支持异构实现，同时后训练阶段考虑了力和触觉信号，以增强对接触丰富的操作能力。
🖼️ 关键图片
📊 实验亮点
在实验中，InternW0在15个阶段的金属-有机框架合成工作流和5个阶段的接触与力感知灵巧操作中表现优异，展示了其在科学任务中的有效性，显著提升了操作的准确性和效率。
🎯 应用场景
InternW0的研究成果可广泛应用于机器人控制、自动化制造和智能家居等领域。其高效的动态学习能力将推动智能系统在复杂环境中的适应性和操作能力，具有重要的实际价值和未来影响。
📄 摘要（原文）
Physical intelligence requires more than predicting how the world may evolve: predictions must remain actionable as the world continues to change. We introduce InternW0, the first instantiation of the InternW physical world model series from Shanghai AI Laboratory, built around omnimodal interfaces, asynchronous multi-frequency processing, and local physical modeling under partial observations and external influences. InternW0 jointly learns future visual dynamics and continuous robot control through an asymmetric video--action architecture with flow matching. A high-capacity video expert provides longer-horizon predictive context, while a lightweight action expert operates at a faster timescale. Instead of regenerating the future for every action update, InternW0 reuses layerwise K/V and adapts it to newly observed states through observation-conditioned context routing. Domain-specific interfaces and soft prompts support heterogeneous embodiments, while contact-aware post-training incorporates force and tactile signals for contact-rich manipulation. We train InternW0 on approximately 7,200 hours of heterogeneous robot and egocentric data, including EgoLab, a 275-hour real-laboratory egocentric dataset. Evaluation spans simulation benchmarks and real-world scientific tasks, including a 15-stage metal--organic framework synthesis workflow and 5-stage contact- and force-aware dexterous manipulation for general-purpose quantitative pipetting. These results advance scalable, asynchronous, and science-native physical world models for universal and efficient real-world interactions.