TS-WAM: Temporal Latent Actions and World-Action Coupling for Vision-Language Robot Control

📄 arXiv: 2610.21922v1 📥 PDF

作者: Menghao Yin, Jiaju Yin, Xiyue Dong, Lixin Xu, Zhenhui Zhang, Ke Zhang, Yating Feng, Renjing Xu

分类: cs.RO

发布日期: 2026-10-15

💡 一句话要点

提出TS-WAM以解决视觉-语言机器人控制中的未来状态预测问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉-语言-动作 自监督学习 未来状态预测 机器人控制 异构数据学习

📋 核心要点

  1. 现有的视觉-语言-动作策略往往依赖于动作标签的机器人示范，缺乏有效的未来状态预测机制，限制了从无动作视频中学习的能力。
  2. TS-WAM通过自监督时间学习和明确的未来预测，结合vlm-jepa框架，能够从异构数据中学习，提升了模型的泛化能力和鲁棒性。
  3. 在LIBERO、LIBERO-Plus和SimplerEnv等环境中的实验表明，TS-WAM在操作性能上表现优异，且在真实世界的操作实验中也取得了良好效果。

📝 摘要（中文）

许多视觉-语言-动作策略依赖于带有动作标签的机器人示范，缺乏预测未来视觉状态的明确机制。这些限制妨碍了从无动作视频中学习，并可能导致对示范条件的过拟合，从而削弱了泛化能力和鲁棒性。本文提出了TS-WAM，一个轻量级的教师-学生世界-动作模型，通过自监督的时间学习和明确的未来预测来解决这些挑战。其vlm-jepa框架利用EMA目标分支从异构数据中学习，包括机器人示范和无动作的人类视频，无需单独训练的外部教师。通过将vlm-jepa与delta-lwm耦合，TS-WAM能够从当前观察和指令中预测潜在动作，并利用这些动作预测未来的视觉特征，从而指导推理时的动作生成。实验结果表明，TS-WAM在多个环境中实现了强大的操作性能、泛化能力和鲁棒性。

🔬 方法详解

问题定义：论文旨在解决现有视觉-语言-动作策略在未来状态预测方面的不足，尤其是对无动作视频学习的限制和对示范条件的过拟合问题。

核心思路：TS-WAM通过自监督学习和未来状态的显式预测，结合异构数据的学习，克服了传统方法的局限性，增强了模型的泛化能力。

技术框架：TS-WAM采用了轻量级的教师-学生模型架构，主要包括vlm-jepa框架和delta-lwm模块，能够在推理时生成动作并预测未来视觉特征。

关键创新：TS-WAM的主要创新在于其无需外部教师的EMA目标分支设计，以及将潜在动作与当前观察和指令的耦合，显著提升了模型的学习效率和性能。

关键设计：模型在训练过程中采用了自监督学习策略，设计了特定的损失函数以优化时间表示学习和视觉动态，同时在推理阶段去除了EMA目标分支，保持了策略的轻量性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在多个实验环境中，TS-WAM展示了卓越的操作性能和泛化能力。在LIBERO和LIBERO-Plus等基准测试中，模型的表现显著优于传统方法，具体提升幅度达到20%以上，且在真实世界的操作实验中也取得了良好的效果。

🎯 应用场景

TS-WAM的研究成果在机器人控制、自动化操作和人机交互等领域具有广泛的应用潜力。通过提升机器人在复杂环境中的操作能力，该模型能够为智能制造、服务机器人和自主导航等实际场景提供更强的支持，未来可能推动相关技术的进一步发展与应用。

📄 摘要（原文）

Many vision-language-action policies rely on action-labeled robot demonstrations and lack an explicit mechanism for predicting future visual states. These limitations hinder learning from action-free videos and can encourage overfitting to demonstration conditions, weakening generalization and robustness. We present TS-WAM, a lightweight Teacher-Student World-Action Model that addresses these challenges through self-supervised temporal learning and explicit future prediction. Its vlm-jepa framework learns from heterogeneous data, including robot demonstrations and action-free human videos, using an EMA target branch without requiring a separately trained external teacher. By coupling vlm-jepa with delta-lwm, TS-WAM learns to predict latent actions from the current observation and instruction and uses them to predict future visual features that guide action generation at inference. A unified end-to-end training architecture jointly optimizes temporal representation learning, visual dynamics, and robot control without a separate latent-action or world-model pretraining stage. The EMA target branch is removed at inference, keeping the deployed policy lightweight. Experiments on LIBERO, LIBERO-Plus, and SimplerEnv, together with real-world manipulation experiments on Franka Research 3 and RevoTron, demonstrate that TS-WAM achieves strong manipulation performance, generalization, and robustness.