LiveAct: Towards Real-Time Multi-Agent World Models with Heterogeneous Action Interfaces

📄 arXiv: 2610.29408v1 📥 PDF

作者: Xinyu Wang, Huafeng Shi, Yue Ma, Zijie Meng, Teng Xi, Yuzhuo Chen, Yucheng Wang, Ruicheng Zhang, Guoxin Zhang, Pengfei Wan, Xiu Li, Fangneng Zhan

分类: cs.CV

发布日期: 2026-10-21

备注: Project page: https://liveact-ai.github.io

💡 一句话要点

提出LiveAct以解决多代理异构动作接口的实时建模问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 多代理建模 异构动作接口 实时生成 视觉预测 机器人控制

📋 核心要点

  1. 现有的交互式视频世界模型通常只考虑单一代理和特定任务的控制接口，限制了其在多代理环境中的应用。
  2. 本文提出的LiveAct通过异构动作接口，允许多个代理独立控制，并适应不同任务的控制变量含义。
  3. 实验结果表明，LiveAct在多个游戏和机器人操作中实现了高达0.942的代理归属准确率，并且在生成速度上达到了17.70 FPS。

📝 摘要（中文）

交互式视频世界模型预测环境在用户行为下的演变，但现有系统通常假设只有一个受控代理和一个特定任务的动作接口。本文研究多代理视频世界建模，其中一个模型为多个受控代理生成联合视觉未来，同时解释从二进制游戏按钮到连续机器人命令的异构控制。我们提出LiveAct，中心是异构动作接口（HAI），其两个组件反映了这一分解。为支持独立控制，Agent-Aware Spatial Modulation使用语言驱动的空间门和代理特定的注意力，将每个动作流绑定到其预期的视觉代理。为适应异构控制，Schema-Guided Action Adaptation用语言描述每个控制变量，并用同步的数值调制其语义标记。我们在六个多代理源上实例化该模型，并评估视觉质量、动作跟随、代理归属和延迟。

🔬 方法详解

问题定义：本文旨在解决多代理视频世界建模中的异构动作接口问题。现有方法通常假设单一代理控制，无法有效处理多个代理的独立控制和多样化的控制命令。

核心思路：LiveAct的核心思路是通过异构动作接口（HAI）实现多个代理的独立控制，并通过语言描述调节控制变量的语义，以适应不同任务的需求。

技术框架：整体架构包括两个主要模块：Agent-Aware Spatial Modulation和Schema-Guided Action Adaptation。前者通过空间门和注意力机制绑定动作流与视觉代理，后者通过语言描述调节控制变量的语义。

关键创新：最重要的创新在于引入了异构动作接口，使得模型能够处理多种控制方式，并实现多个代理的独立控制，这与传统方法的单一控制方式有本质区别。

关键设计：在设计中，使用了语言驱动的空间门和代理特定的注意力机制，确保每个动作流的独立性。同时，Schema-Guided Action Adaptation通过语言描述和数值调制实现了控制变量的灵活性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，LiveAct在多个游戏和机器人操作中实现了高达0.898和0.942的代理归属准确率，且在生成速度上达到了17.70 FPS，显著提升了多代理环境下的控制效果和实时性。

🎯 应用场景

该研究的潜在应用领域包括多代理游戏、机器人协作和复杂环境中的自动化控制。通过实现实时的多代理世界模型，LiveAct能够在动态环境中提供更高效的决策支持，推动智能系统的发展。

📄 摘要（原文）

Interactive video world models predict how an environment evolves under user actions, but most existing systems assume one controlled agent and one task-specific action interface. We study multi-agent video world modeling, where one model generates a joint visual future for multiple controlled agents while interpreting heterogeneous controls ranging from binary game buttons to continuous robot commands. This task presents two complementary challenges. First, every agent-indexed action stream must control its intended visual entity independently. Second, the model must adapt the meaning of each control variable across different tasks, where the same tensor dimension may denote an attack, steering command, or robot command. We introduce LiveAct, centered on a Heterogeneous Action Interface (HAI) whose two components mirror this decomposition. To support independent control, Agent-Aware Spatial Modulation uses language-driven spatial gates and agent-specific attention to bind each action stream to its intended visual agent. To accommodate heterogeneous controls, Schema-Guided Action Adaptation describes each control variable in language and modulates its semantic token with the synchronized numerical value. We further transfer the complete interface to a blockwise causal generator through teacher forcing and rollout-aware distribution matching, enabling efficient streaming generation while retaining agent-specific control and action semantics. We instantiate the formulation on six multi-agent sources spanning games and multi-robot manipulation, and evaluate visual quality, action following, agent attribution, and latency. Across games and robot manipulation, LiveAct reaches 0.898 and 0.942 agent-attribution accuracy without agent locations or identity crops, and the causal generator attains 17.70 FPS at $512\times 448$.