EWAM: Emergent Depth-Wise Specialization in a Unified Embodied Model -- From Semantic Understanding through Visual Foresight to Action

📄 arXiv: 2609.39973v1 📥 PDF

作者: Hao Wang, Jiajun Wen, Jingzhi Liu, Shuoshuo Xue, Zhiliang Chen, Min Lin, Yicheng Chang, Xiaoyu Guo, Yukang Zhuo, Zheng Chong, Yunshuang Nie, Jian Zhang, Weijia Liufu, Qingman Wu, Heming Xu, Bingchang Song, Dantong Wu, Zhiyuan Wang, Hang Xu, Jianhua Han, Bokui Chen, Shen Zhao, Rui Li, Xiaodan Liang

分类: cs.RO

发布日期: 2026-09-30

💡 一句话要点

提出EWAM模型以解决多模态理解与动作生成问题

🎯 匹配领域: 支柱六：视频提取与匹配 (Video Extraction) 支柱七：动作重定向 (Motion Retargeting) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态融合 视觉-语言-动作 深度学习 机器人控制 自我中心视频

📋 核心要点

  1. 现有的视觉-语言-动作模型在处理多模态信息时，往往依赖单一专家，导致动作生成的灵活性不足。
  2. EWAM模型通过不对称的联合注意力机制，实现了动作令牌在不同层次上对多种信息的有效读取，提升了模型的综合能力。
  3. 在仿真和真实机器人实验中，EWAM超越了现有基线，特别是在跨体转移和长时间任务完成上表现出色。

📝 摘要（中文）

视觉-语言-动作（VLA）策略强调语义理解，而世界-动作模型（WAMs）学习环境动态的预测表示。现有系统在处理这两种信息时，通常仍集中于单一专家进行动作计算。本文提出EWAM，一个以动作为中心的统一体模型，其不对称的联合注意力机制使得动作令牌在每一层都能读取语义、当前视觉、预测未来和动作信息，同时感知专家保持各自的独特角色。EWAM在没有层级监督的情况下，发展出一种自发的深度专门化：动作查询在浅层主要关注视觉-语言特征，在中间层关注预测的未来帧，在深层关注动作令牌本身。这种交接在任务间复制并在去噪步骤中保持稳定。实验结果表明，EWAM在仿真和真实机器人实验中超越了现有的VLA、WAM和混合基线。

🔬 方法详解

问题定义：本文旨在解决现有视觉-语言-动作模型在多模态信息处理中的局限性，尤其是单一专家导致的动作生成灵活性不足的问题。

核心思路：EWAM模型通过不对称的联合注意力机制，使得动作令牌能够在不同层次上关注不同类型的信息，从而实现更高效的多模态融合与动作生成。

技术框架：EWAM的整体架构包括多个层次的注意力机制，浅层关注视觉-语言特征，中层关注预测的未来帧，深层则关注动作令牌本身。模型在两个不同的预训练阶段进行训练：一个基于跨体机器人轨迹，另一个基于人类自我中心视频。

关键创新：EWAM的主要创新在于其自发的深度专门化能力，能够在不同层次上动态调整关注点，这一特性在现有模型中并不常见。

关键设计：模型设计中采用了层级注意力机制，确保不同层次的专家能够专注于特定的信息类型，此外，损失函数和参数设置经过精心调整，以优化模型在多任务中的表现。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在实验中，EWAM模型在多个任务上均超越了现有的视觉-语言-动作（VLA）、世界-动作模型（WAM）及其混合基线，尤其在跨体转移和真实机器人环境中的表现显著提升，显示出更强的鲁棒性和适应性。

🎯 应用场景

EWAM模型在机器人控制、自动驾驶、智能家居等领域具有广泛的应用潜力。通过提升多模态信息的处理能力，该模型能够更好地理解复杂环境并做出相应的动作决策，未来可能推动智能体的自主学习与适应能力。

📄 摘要（原文）

Vision-language-action (VLA) policies emphasize semantic understanding, whereas world-action models (WAMs) learn predictive representations of environment dynamics. Systems that expose a policy to both sources often still concentrate action computation on a single expert. We present EWAM, an action-centric unified embodied model whose asymmetric joint attention lets action tokens read semantic, current-visual, predicted-future, and action information at every layer while the perceptual experts retain their distinct roles. Without layer-wise supervision, EWAM develops an emergent depth-wise specialization: action queries attend mainly to vision-language features in shallow layers, to predicted future frames in intermediate layers, and to action tokens themselves in deep layers. This handoff replicates across tasks and is stable across denoising steps. Checkpoint tracking and causal interventions show that it is learned and that action generation depends on it. EWAM is pretrained in two separate regimes, one on cross-embodiment robot trajectories and one on human egocentric video. In simulation and real-robot experiments, it surpasses existing VLA, WAM, and hybrid baselines. Human egocentric data improve both cross-embodiment transfer and real-robot robustness, and subtask-phase supervision improves long-horizon completion. Together, these results suggest that unified embodied learning can induce an ordered internal progression from semantic understanding, through visual foresight, to action formation.