Precise Editing and Flexible Referencing for Interactable Worlds
作者: Xinyao Liao, Xianfang Zeng, Zhu Liang, Zhoujie Fu, Qianxun Xu, Jiachi Liu, Gang Yu, Guosheng Lin
分类: cs.CV, cs.AI
发布日期: 2026-09-28
🔗 代码/项目: GITHUB
💡 一句话要点
提出EditWorld以解决交互世界中精确编辑与灵活引用问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 视频世界模型 精确编辑 灵活引用 门控因果注意力 稀疏上下文 自回归生成 数据合成 交互式环境
📋 核心要点
- 现有视频世界模型主要关注导航，缺乏对世界内容精确修改的控制能力。
- EditWorld通过流式编辑指令和参考图像，扩展了世界建模的功能，实现精确修改。
- 在WBench-Editing评估中，EditWorld的整体得分为73.8，编辑得分为80.0，显著优于现有方法。
📝 摘要（中文）
我们提出了EditWorld，一个用于交互世界中精确编辑和灵活引用的视频世界模型。现有的视频世界模型主要集中在导航，允许用户探索生成的世界，但对现有世界内容的修改控制有限。EditWorld通过在自回归生成过程中流式传输编辑指令和参考图像，将世界建模从探索扩展到精确修改。为支持这些功能，EditWorld引入了门控因果注意力机制，以应对时间变化的编辑条件和参考图像，并结合稀疏上下文机制，保持有限的历史上下文以实现长时间推理。此外，我们采用联合自回归和双向训练，结合退火自重采样，构建了专门的数据合成和注释管道，为世界编辑提供监督。我们还提出了WBench-Editing，以系统评估流式世界编辑能力。EditWorld在WBench-Editing上取得了73.8的整体得分和80.0的编辑得分，显著超越了现有方法在编辑相关指标上的表现。
🔬 方法详解
问题定义：本论文旨在解决现有视频世界模型在交互世界中对内容修改控制不足的问题，现有方法主要集中在用户导航而非精确编辑。
核心思路：EditWorld的核心思路是通过流式传输编辑指令和参考图像，支持用户在自回归生成过程中对世界内容进行精确修改，从而提升用户的交互体验。
技术框架：EditWorld的整体架构包括门控因果注意力机制和稀疏上下文机制，前者处理时间变化的编辑条件，后者保持有限的历史上下文以支持长时间推理。
关键创新：EditWorld的主要创新在于引入了门控因果注意力和稀疏上下文机制，这与现有方法的静态上下文处理方式有本质区别，显著提升了编辑的灵活性和精确度。
关键设计：在设计中，采用了联合自回归和双向训练的策略，并结合退火自重采样，确保模型在编辑任务中的高效性和准确性，同时构建了专门的数据合成和注释管道以提供监督。
🖼️ 关键图片
📊 实验亮点
EditWorld在WBench-Editing评估中取得了73.8的整体得分和80.0的编辑得分，显著优于现有方法，提升幅度明显，展示了其在流式世界编辑能力上的卓越表现。
🎯 应用场景
该研究的潜在应用领域包括游戏开发、虚拟现实和增强现实等交互式环境，能够为用户提供更高的内容编辑自由度和灵活性。未来，EditWorld可能推动更复杂的交互世界的创建，提升用户体验和创作效率。
📄 摘要（原文）
We present EditWorld, a video world model for precise editing and flexible referencing in interactable worlds. Existing video world models primarily focus on navigation, letting users explore generated worlds but offering limited control over how existing world content is modified. EditWorld extends world modeling from exploration to precise modification by streaming editing instructions and reference images during autoregressive generation. To support these capabilities, EditWorld introduces Gated Causal Attention for temporally varying editing conditions and reference images, together with a Sparse Context mechanism that maintains a bounded historical context for long-horizon inference. We further adopt joint autoregressive and bidirectional training with annealed self-resampling, and construct a dedicated data synthesis and annotation pipeline that provides supervision for world editing. We also present WBench-Editing to systematically evaluate streaming world editing capabilities. EditWorld achieves the best overall performance on WBench-Editing with an overall score of 73.8 and an editing score of 80.0, substantially outperforming existing methods on editing-related metrics. https://github.com/leoisufa/EditWorld