Honeycomb: Constant-Size Scene Memory Representation for Video World Models

📄 arXiv: 2609.37690v1 📥 PDF

作者: Jack Wei Lun Shi, Kaichen Zhou, Haoyu Chen, Yufeng Weng, Keane Ong, Ruojin Cai, Hang Hua, Justin K. W. Yeoh, Mengyu Wang

分类: cs.CV

发布日期: 2026-09-29

备注: Project Page: https://jackswl.github.io/honeycomb/ Code: https://github.com/kaichen-z/honeycomb

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出Honeycomb以解决视频世界模型中的场景记忆问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱八：物理动画 (Physics-based Animation)

关键词: 视频生成 场景记忆 低秩表示 时空特征 自适应整合 一致性维护 HexMemory 长视频理解

📋 核心要点

  1. 现有视频世界模型在生成长视频时，面临场景记忆存储需求不断增加的问题，影响生成效率和一致性。
  2. Honeycomb通过HexMemory实现固定大小的场景特征存储，采用信心加权池化和学习的残差校正，避免了对全历史生成的重复处理。
  3. 在WorldScore和RealEstate10K数据集上的实验显示，Honeycomb在视频生成质量和一致性方面显著优于现有方法，且存储需求保持不变。

📝 摘要（中文）

视频世界模型需要持久的场景记忆以保持长时间视频生成的一致性。现有的空间记忆系统通过累积RGB观测或潜在特征，导致存储需求随着生成过程的推进而增加。本文提出了Honeycomb，一个基于HexMemory的紧凑低秩表示，能够在固定大小的内存中存储场景特征，包含六个空间和时空平面。通过自适应的特征整合和信心加权池化，Honeycomb在扩展空间覆盖或时间范围时，能够保持特征存储需求不变。实验表明，Honeycomb在视频生成质量和一致性方面表现优异，尤其是在重新访问先前观察区域时。

🔬 方法详解

问题定义：论文要解决的问题是视频世界模型在长时间生成过程中，场景记忆的存储需求不断增加，导致效率低下和一致性差。现有方法通过累积RGB观测或潜在特征，无法有效管理存储资源。

核心思路：Honeycomb的核心思路是使用HexMemory实现固定大小的场景特征存储，通过自适应的特征整合方法，避免对全历史生成的重复处理，从而提高生成效率和一致性。

技术框架：整体架构包括一个前馈写入器和一个读取器。写入器将新生成的视频片段映射到平面特征，读取器则从HexMemory中检索潜在特征以条件化后续视频生成。

关键创新：最重要的技术创新在于HexMemory的设计，它通过六个空间和时空平面实现低秩表示，能够在扩展空间和时间范围时保持固定的存储需求，与现有方法相比，显著提高了存储效率。

关键设计：关键设计包括信心加权池化和学习的残差校正，确保在整合新特征时，能够有效保留已有特征的维度和信息，同时避免对每个场景的优化。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，Honeycomb在WorldScore和RealEstate10K数据集上生成的视频质量显著提升，尤其在重新访问先前观察区域时，表现出强大的生成一致性。与基线方法相比，Honeycomb在存储需求上保持不变，展现出优越的性能。

🎯 应用场景

Honeycomb的研究成果在视频生成、虚拟现实和增强现实等领域具有广泛的应用潜力。通过提供高效的场景记忆管理，能够提升长视频生成的质量和一致性，为相关技术的发展提供支持。

📄 摘要（原文）

Video world models require persistent scene memory to maintain consistency during long-horizon video generation. Existing spatial memory systems accumulate RGB observations or latent features, causing storage requirements to grow as generation proceeds. We introduce Honeycomb, a video world model built on HexMemory, a compact low-rank representation that stores scene features in a fixed-size memory comprising six spatial and spatiotemporal planes. A feed-forward writer maps each newly generated video chunk to plane features. As the spatial coverage or temporal range expands, HexMemory warps the existing planes while preserving their dimensions, then integrates new features through confidence-weighted pooling and a learned residual correction. A reader retrieves latent features from HexMemory to condition subsequent video generation. Because the writer processes only observations from the latest chunk, Honeycomb avoids per-scene optimization and repeated processing of the full generation history. Experiments on WorldScore and RealEstate10K demonstrate strong video generation quality and robust consistency when revisiting previously observed regions, while maintaining constant feature-storage requirements throughout generation. Code and additional visualizations are available on our https://jackswl.github.io/honeycomb/.