CSWAM: Better Causal Semantic Representations for Out-of-Distribution Generalization in World Action Models

📄 arXiv: 2609.18462v1 📥 PDF

作者: Tianbin Liu, Jian Zhu, Taiyi Su, Jianjun Zhang, Chong Ma, Zitai Huang, Yi Xu

分类: cs.CV, cs.AI

发布日期: 2026-09-16

备注: 13 pages, 2 figures

💡 一句话要点

提出CSWAM以解决视觉分布转移下的因果语义表示问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 因果推理 语义表示 视觉泛化 机器人学习 动作模型 分布转移 时间序列分析

📋 核心要点

  1. 现有的FastWAM模型在视觉分布变化下泛化能力不足，难以处理未见场景和物体。
  2. CSWAM通过引入因果语义专家，利用时间基础的语义表示来增强模型的泛化能力。
  3. 在多项实验中，CSWAM的成功率显著提升，尤其在RoboTwin 2.0任务中表现出色。

📝 摘要（中文）

FastWAM风格的世界动作模型在仅依赖动作推理时效率高，但在视觉分布变化下泛化能力较差。其重建导向的表示强调外观特征，限制了对未见场景和物体的泛化能力。为了解决这些问题，本文提出了因果语义世界动作模型（CSWAM），该模型通过基于V-JEPA 2.1的因果语义专家增强FastWAM，提供了对语义状态变化和运动的时间基础表示，减少了对外观特征的依赖。CSWAM在推理时基于当前视频状态和观察到的语义历史进行动作去噪，保持了高效的动作推理。实验结果表明，CSWAM在RoboTwin 2.0的清洁到随机化转移中成功率从10.16%提升至45.18%，在多个真实机器人任务中平均成功率提升42.5个百分点。

🔬 方法详解

问题定义：本文旨在解决现有FastWAM模型在视觉分布转移下的泛化能力不足问题。现有模型过于依赖外观特征，导致在未见场景和物体中表现不佳。

核心思路：CSWAM通过引入基于V-JEPA 2.1的因果语义专家，提供时间基础的语义状态变化和运动表示，减少对外观特征的依赖，从而增强模型的泛化能力。

技术框架：CSWAM的整体架构包括因果语义专家、视频流和动作流的因果注意力机制。模型通过稀疏的当前和过去观察历史学习未来演变，并将历史上下文与视频和动作流共享。

关键创新：CSWAM的主要创新在于引入因果语义专家，利用时间基础的表示来增强对任务相关状态变化的识别能力，与FastWAM的重建导向表示形成鲜明对比。

关键设计：模型设计中采用了因果注意力机制，确保动作去噪过程依赖于当前视频状态和观察到的语义历史，保持高效的动作推理能力。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

CSWAM在RoboTwin 2.0任务中实现了从10.16%到45.18%的成功率提升，增幅达35.02个百分点。在多个真实机器人任务中，CSWAM的平均成功率提升了42.5个百分点，从27.5%提高至70.0%。

🎯 应用场景

CSWAM的研究成果在机器人导航、自动驾驶和智能监控等领域具有广泛的应用潜力。通过提升模型在视觉分布转移下的泛化能力，CSWAM能够更好地适应复杂和动态的环境，推动智能系统的实际应用与发展。

📄 摘要（原文）

FastWAM-style world action models enable efficient action-only inference, but generalize poorly under visual distribution shifts. Their reconstruction-oriented representations emphasize appearance-specific details, limiting generalization to unseen scenes and objects. Without observation history, the model also lacks temporal evidence for robustly identifying task-relevant state changes and motion in unfamiliar visual conditions. To address these limitations, we present the Causal Semantic World Action Model (CSWAM), which augments FastWAM with a causal semantic expert built on V-JEPA 2.1. V-JEPA provides temporally grounded representations of semantic state changes and motion with less dependence on appearance-specific details. The expert learns their future evolution from a sparse history of current and past observations and shares the history-derived context with both the video and action streams through causal attention. At inference, CSWAM conditions action denoising on the current video state and observed semantic history, retaining efficient action-only inference. We conduct simulation and real-robot experiments to evaluate generalization under distribution shifts. With embodied pretraining, CSWAM raises Randomized success on RoboTwin 2.0 Clean-to-Randomized transfer from 10.16% to 45.18%, a gain of 35.02 percentage points over FastWAM. Across two real-robot tasks and three OOD difficulty levels, CSWAM improves average success over FastWAM by 42.5 percentage points, from 27.5% to 70.0%.