Long-WAM: Scaling the Context of World-Action Models

📄 arXiv: 2610.10528v1 📥 PDF

作者: Wei Huang, Bohan Zhang, Chenzhi Liu, Isabella Liu, Shuai Yang, Weian Mao, Luozhou Wang, Yicheng Xiao, Weifeng Lin, Qixin Hu, Bryan Chu, Sifei Liu, Linxi Fan, Xiaojuan Qi, Song Han, Yukang Chen

分类: cs.RO, cs.AI, cs.CV

发布日期: 2026-10-07

💡 一句话要点

提出Long-WAM以解决实时机器人控制中的历史信息利用问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱六：视频提取与匹配 (Video Extraction)

关键词: 长视频理解 因果预测 实时控制 机器人操作 自回归预训练

📋 核心要点

  1. 现有方法在实时机器人控制中对历史信息的处理不足，导致动作延迟和性能下降。
  2. Long-WAM通过自回归预训练和因果预测学习，优化历史信息的使用，提高了模型的实时控制能力。
  3. 实验结果表明，Long-WAM在多个任务上表现优异，成功率显著提升，尤其是在动态任务中表现突出。

📝 摘要（中文）

实时机器人控制需要足够的视觉历史信息来推断运动和任务进展，但处理这些历史信息可能导致动作延迟。本文提出了Long-WAM，一个在实时控制约束下扩展因果世界-动作模型上下文的模型-系统框架。研究发现，历史信息的访问与使用并不相同：当视频基础模型采用自回归预训练时，较长的历史信息带来的收益更大。通过从机器人和自我中心视频中学习因果预测，Long-WAM在RoboCasa GR-1上将上下文从0.0秒增加到19.2秒时，成功率从63.3%提升至78.7%。

🔬 方法详解

问题定义：本文旨在解决实时机器人控制中历史信息利用不足的问题。现有方法在处理历史信息时存在延迟，影响了动作的及时性和准确性。

核心思路：Long-WAM的核心思路是通过自回归预训练来增强历史信息的使用效率，从而提高因果世界-动作模型的性能。该方法强调历史信息的有效利用，而不仅仅是获取。

技术框架：Long-WAM的整体架构包括因果预测学习模块、历史信息保留机制和世界-动作适应模块。首先从无标签的视频中学习因果关系，然后在适应阶段保持历史到未来的结构。

关键创新：Long-WAM的主要创新在于通过自回归预训练显著提升了长历史信息的利用效率，与传统方法相比，能够在更长的上下文中实现更高的成功率。

关键设计：在模型设计中，Long-WAM采用了流式观察编码、异步执行和硬件特定加速等技术，确保在RTX 5090等硬件上实现实时预测，每个动作块的处理时间为107.4毫秒。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

Long-WAM在RoboCasa GR-1上成功率从63.3%提升至78.7%，在LIBERO-Long、RoboTwin 2.0和DOMINO等任务中表现最佳。与基线方法相比，Long-WAM在动态杯子堆叠任务中实现了95%的成功率，而其他方法在20次试验中均未成功。

🎯 应用场景

Long-WAM的研究成果在动态和长时间操作的机器人控制中具有广泛的应用潜力，特别是在需要实时反应和复杂任务规划的场景中，如自动化仓库、智能家居和服务机器人等领域。未来，Long-WAM可能推动更智能的机器人系统的发展，提升其在复杂环境中的适应能力和操作效率。

📄 摘要（原文）

Real-time robot control demands enough visual history to infer motion and task progress, but processing that history can delay action. We present Long-WAM, a model-system framework for scaling the context of causal world-action models under real-time control constraints. Our central finding is that access to history is not the same as using it: longer histories pay off far more when the video foundation is pretrained autoregressively (AR). We first learn causal prediction from robot and egocentric videos without action labels, then preserve this history-to-future structure during world-action adaptation. On RoboCasa GR-1, increasing context from 0.0 to 19.2 seconds raises success from 63.3% to 78.7%, whereas a bidirectionally pretrained initialization shows no net gain; robot-domain AR pretraining further raises peak success on GR-1 and LIBERO-Long. Long-WAM also achieves the best results among compared methods on LIBERO-Long, RoboTwin 2.0, and DOMINO. Streaming observation encoding, asynchronous execution, and hardware-specific acceleration enable deployment on RTX 5090, DGX Spark, and Jetson AGX Thor without dropping future prediction; on RTX 5090, each action chunk, including future-video latent prediction, takes 107.4 ms. Real-time deployment on Unitree G1 and YAM supports dynamic and long-horizon manipulation, including 95% success on dynamic cup stacking, where Pi0.5 and Fast-WAM succeed in none of 20 trials. As a memory-informed executor, Long-WAM also complements higher-level planning in composite tasks.