Infinite Worlds with Versatile Interactions

📄 arXiv: 2607.07534v1 📥 PDF

作者: Zelin Gao, Qiuyu Wang, Jiapeng Zhu, Jingye Chen, Zichen Liu, Qingyan Bai, Jiahao Wang, Yufeng Yuan, Hanlin Wang, Yichong Lu, Ka Leong Cheng, Haojie Zhang, Jian Gao, Tianrui Feng, Yuzheng Liu, Yao Yao, Yinghao Xu, Xing Zhu, Yujun Shen, Hao Ouyang

分类: cs.CV

发布日期: 2026-07-08

备注: Project page: https://technology.robbyant.com/lingbot-world-v2 Code: https://github.com/robbyant/lingbot-world-v2

💡 一句话要点

提出LingBot-World 2.0以实现无限交互的虚拟世界

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 虚拟世界 交互模型 因果预训练 实时响应 多代理系统 用户体验 游戏开发 教育应用

📋 核心要点

  1. 现有的虚拟世界交互模型在交互范围和响应速度上存在限制，难以满足复杂场景的需求。
  2. 论文提出了LingBot-World 2.0，通过因果预训练和实时模型蒸馏，实现了无限交互视野和快速响应。
  3. 实验结果表明，LingBot-World 2.0在720p视频流下以60fps运行，交互元素多样性显著提升，用户体验更佳。

📝 摘要（中文）

我们提出了LingBot-World 2.0（也称为LingBot-World-Infinity），这是LingBot-World的高级迭代，具有四个显著升级。首先，我们的模型实现了无限的交互视野，同时保持一致的输出质量，这得益于精心设计的因果预训练范式。其次，通过从基础模型中提炼出实时变体，我们的系统保证了快速响应时间，足以驱动720p视频流以60帧每秒的速度。与之前版本相比，此更新引入了高度多样化的互动元素，包括更广泛的动作（如攻击、射箭、施法和射击）以及更丰富的文本驱动事件。此外，我们在世界建模领域开创性地集成了一个代理系统，其中一个代理负责规划和执行角色行为，而另一个代理则负责在场景进展中合成新环境元素。为了促进共享体验，我们开发了一个界面，允许多个玩家同时沉浸在这个生动的世界模拟器中。我们将主要的14B模型与轻量级的1.3B模型配对，支持在单个GPU上的轻松部署。

🔬 方法详解

问题定义：本论文旨在解决现有虚拟世界交互模型在交互范围和响应速度上的不足，尤其是在复杂场景下的表现。现有方法往往无法支持多样化的交互行为和实时响应，限制了用户体验。

核心思路：论文的核心解决思路是通过因果预训练和实时模型蒸馏，构建一个能够支持无限交互的虚拟世界模型。这样的设计使得模型在保持高输出质量的同时，能够快速响应用户的操作。

技术框架：整体架构包括两个主要模块：一个是负责角色行为规划和执行的代理（pilot agent），另一个是负责环境元素合成的代理（director agent）。此外，系统还配备了一个用户界面，支持多个玩家的同时参与。

关键创新：最重要的技术创新在于引入了代理系统，使得虚拟世界的建模更加灵活和动态。与现有方法相比，这种设计能够实时生成新的环境元素，极大丰富了用户的交互体验。

关键设计：在模型设计中，采用了14B的主模型与1.3B的轻量级模型相结合的方式，以支持在单个GPU上的高效部署。同时，模型的损失函数和网络结构经过优化，以确保在高负载下仍能保持流畅的响应速度。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，LingBot-World 2.0在720p视频流下以60fps的速度运行，响应时间显著缩短，交互元素的多样性提升了用户的参与感和体验质量。与之前版本相比，交互行为的范围扩大，用户能够进行更复杂的操作，提升了整体的互动性。

🎯 应用场景

该研究的潜在应用领域包括游戏开发、虚拟现实和教育培训等。通过提供一个高度互动和动态的虚拟环境，LingBot-World 2.0能够为用户创造沉浸式体验，促进学习和娱乐的结合。未来，该技术还可能推动更多领域的创新应用，如社交平台和在线协作工具。

📄 摘要（原文）

We present LingBot-World 2.0 (also known as LingBot-World-Infinity), an advanced iteration of LingBot-World featuring four distinct upgrades. (1) Our model achieves an unbounded interaction horizon while maintaining consistent output quality, benefiting from a carefully crafted causal pretraining paradigm. (2) Through distilling a real-time variant from the base model, our system guarantees rapid response time, sufficient to drive 720p video streams at 60 fps. (3) Compared to the previous version, this update introduces highly diverse interactive elements, comprising a broader spectrum of actions (e.g., attacking, archery, spell-casting, and shooting) alongside a richer variety of text-driven events. (4) We pioneer the integration of an agentic harness within the domain of world modeling, wherein a pilot agent is tasked with planning and executing character behaviors, while a director agent is responsible for synthesizing novel environmental elements as the scene progresses. Additionally, to facilitate a shared experience, we develop an interface that permits multiple players to simultaneously immerse themselves in this vivid world simulator. We pair our primary 14B model with a lightweight 1.3B counterpart, which supports effortless deployment on a single GPU.