WorldAgen: Unified State-Action Prediction with Test-Time World Model Training

📄 arXiv: 2609.08162v1 📥 PDF

作者: Chi Wan, Kangrui Wang, Yuan Si, Pingyue Zhang, Manling Li

分类: cs.AI

发布日期: 2026-09-08

备注: Accepted to AAAI 2026

💡 一句话要点

提出WorldAgen以解决动态环境下的视觉-语言-动作适应问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉-语言-动作 世界建模 动作预测 动态环境 测试时训练 Transformer 自适应学习

📋 核心要点

  1. 现有的VLA模型在动态环境中适应性不足，无法有效处理新场景中的物体配置和动态变化。
  2. WorldAgen框架通过联合学习世界建模和动作预测，并在测试时进行世界模型训练，增强了模型的适应能力。
  3. 在CALVIN和LIBERO基准测试中，WorldAgen的性能与现有最先进方法相当，且在少量样本的TTT下超越了这些方法。

📝 摘要（中文）

如何使视觉-语言-动作（VLA）模型适应动态变化的新环境？尽管近期研究已将世界建模与动作预测结合以提升VLA性能，但现有方法主要依赖于静态数据集的预训练，缺乏在部署时主动适应的机制。因此，这些模型在面对新场景时常常无法有效泛化。我们提出了WorldAgen，一个统一的框架，能够同时学习世界建模和动作预测，并在测试时进行世界模型训练（TTT），以适应新环境。WorldAgen采用共享的Transformer骨干网络，设有两个头部：一个用于预测未来状态的世界模型头，另一个用于根据任务指令预测动作的代理模型头。我们设计了混合单向注意力掩码以区分这两个模型。在测试时，WorldAgen采样探索性动作，收集真实状态转变，并进行轻量级的TTT更新，以优化其世界模型。这种适应性提升了模型对环境的理解，进而提高了动作预测的准确性。

🔬 方法详解

问题定义：本论文旨在解决视觉-语言-动作（VLA）模型在动态环境中适应性不足的问题。现有方法依赖于静态数据集的预训练，缺乏在实际部署时的主动适应机制，导致模型在新场景中的泛化能力不足。

核心思路：WorldAgen框架通过同时学习世界建模和动作预测，结合测试时的世界模型训练（TTT），使模型能够在新环境中进行自我调整，从而提高适应性和预测准确性。

技术框架：WorldAgen采用共享的Transformer骨干网络，包含两个主要模块：世界模型头和代理模型头。世界模型头负责从过去的状态-动作轨迹中预测未来状态，而代理模型头则根据任务指令预测动作。

关键创新：WorldAgen的核心创新在于其混合单向注意力掩码设计，能够有效区分世界模型和代理模型的功能。此外，TTT机制使得模型在测试时能够通过采样探索性动作和收集真实状态转变进行轻量级更新，显著提升了模型的环境理解能力。

关键设计：在模型设计中，采用了特定的损失函数来优化状态预测和动作预测的准确性，同时在TTT过程中，模型通过少量样本进行快速更新，确保在新环境中的适应性和性能提升。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

在CALVIN和LIBERO基准测试中，WorldAgen的基线模型在性能上与当前最先进的方法相当，且在少量样本的TTT下超越了这些方法，显示出其在动态环境适应性方面的显著优势。

🎯 应用场景

WorldAgen的研究成果在机器人控制、自动驾驶、智能家居等领域具有广泛的应用潜力。通过提升模型在动态环境中的适应能力，能够实现更智能的决策和行为规划，推动相关技术的进步与普及。

📄 摘要（原文）

How can vision-language-action (VLA) models adapt to new environments where world dynamics shift? While recent research has combined world modeling and action prediction to improve VLA performance, existing methods largely rely on pretraining on static datasets, without mechanisms for active adaptation at deployment time. As a result, these models often fail to generalize when deployed in unseen scenarios with novel object configurations or dynamics. We present WorldAgen, a unified framework that jointly learns world modeling and action prediction while enabling Test-Time Training (TTT) to adapt to new environments. WorldAgen employs a shared Transformer backbone with two heads: (1) a world model head that predicts future states from past state-action trajectories, and (2) an agent model head that predicts actions conditioned on task instructions. We design a Mixed Unidirectional Attention Mask to separate these two models. During test time, WorldAgen samples exploratory actions, collects ground-truth state transitions, and performs lightweight TTT updates to refine its world model. This adaptation improves the model's understanding of the environment and leads to more accurate action predictions. Experiments on the CALVIN and LIBERO benchmarks demonstrate that our baseline model achieves comparable, and in some cases superior, performance to current state-of-the-art approaches. Moreover, with TTT on a small number of samples, our method surpasses existing state-of-the-art models, highlighting the effectiveness of adapting world models at inference time.