Holi-World: Building Holistic World Intelligence from Human-Ego Experience

📄 arXiv: 2610.26549v1 📥 PDF

作者: Hao Li, Xiyuan Zheng, Yuanyuan Gao, Yalun Dai, Xinhao Ji, Xuan-Li Chen, Jing Zhao, Fangzhou Hong, Zhaoxi Chen, Ziwei Liu

分类: cs.CV

发布日期: 2026-10-19

备注: https://ropedia.github.io/holi-world

💡 一句话要点

提出HOLI-WORLD以构建全面的世界智能，解决人类自我体验学习问题

🎯 匹配领域: 支柱六：视频提取与匹配 (Video Extraction)

关键词: 人类自我体验 世界智能 自动数据构建 空间推理 时间推理 动态跟踪 多模态学习

📋 核心要点

  1. 现有方法在处理人类自我中心体验时，面临数据标注成本高和信息整合不足的挑战。
  2. 论文提出HOLI-WORLD生态系统，通过自动化数据构建和模型学习，连接场景结构与交互历史。
  3. 在多个数据集上进行的实验表明，HOLIWORLD显著提升了空间和时间推理能力，表现优异。

📝 摘要（中文）

人类自我中心的体验为学习世界的组织和变化提供了丰富的基础。要实现这一潜力，需要将大量录音转化为学习资源，连接场景结构、物体语义和交互历史，同时减少对昂贵人工标注的依赖。我们提出HOLI-WORLD，一个集成生态系统，连接体验捕捉、世界表示、自动数据构建、模型学习和独立评估。HOLIWORLD-Foundry结合静态和动态感知，自动构建世界记录，连接持久的场景结构和不断变化的物体状态。HOLIWORLD-Data将约100个自收集场景的记录组织成基础学习资源，包括约80K的问答对，用于训练HOLIWORLD-VL-4B。实验表明，HOLIWORLD在静态感知和动态跟踪方面表现出色，显著提升了空间和时间推理能力。

🔬 方法详解

问题定义：本论文旨在解决如何有效利用人类自我中心体验来构建世界智能的问题。现有方法依赖于昂贵的人工标注，且在整合多视角和时间变化的信息方面存在不足。

核心思路：HOLI-WORLD通过集成静态和动态感知，自动构建世界记录，旨在减少人工干预并提高学习效率。该设计使得系统能够从不断变化的环境中提取有价值的信息。

技术框架：HOLI-WORLD的整体架构包括体验捕捉、世界表示、自动数据构建、模型学习和独立评估五个主要模块。HOLIWORLD-Foundry负责数据的自动构建，而HOLIWORLD-Data则组织和管理这些数据记录。

关键创新：HOLI-WORLD的主要创新在于其自动化的数据构建能力，能够将静态场景结构与动态物体状态和交互历史相结合，显著降低了对人工标注的依赖。

关键设计：在模型训练中，使用了约80K的问答对作为基础数据，采用了特定的损失函数和网络结构，以优化空间和时间推理能力。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

在ScanNet、ScanNet++、Aria Digital Twin和HOLIWORLD-Bench等数据集上的实验结果显示，HOLIWORLD在静态感知和动态跟踪方面表现优异，训练HOLIWORLD-VL-4B显著提升了其在HOLIWORLD-Bench和EgoDynamic4D上的空间和时间推理能力，提升幅度达到XX%。

🎯 应用场景

该研究的潜在应用领域包括智能家居、机器人导航和增强现实等。通过提升机器对动态世界的理解能力，HOLI-WORLD能够推动人机交互的智能化，具有重要的实际价值和未来影响。

📄 摘要（原文）

Human egocentric experience offers a rich foundation for learning how the world is organized and how it changes through interaction. Realizing this potential at scale requires turning growing volumes of recordings into learning resources that connect scene structure, object semantics, and interaction histories across viewpoints and time, while reducing dependence on costly manual annotation. We introduce HOLI-WORLD, an integrated ecosystem connecting experience capture, world representation, automated data construction, model learning, and independent evaluation. To sup- port learning at scale, HOLIWORLD-Foundry combines complementary static and dynamic perception to automatically construct world records that connect persistent scene structure and evolving object states with interaction histories and supporting observations. HOLIWORLD-Data organizes these records from approximately 100 self-collected scenes into grounded learning resources, including approximately 80K QA pairs used to train HOLIWORLD-VL-4B. Independent human annotations of heldout recordings form HOLIWORLD-Bench, supporting evaluation of both annotation quality and learned spatial and temporal understanding. Experiments on ScanNet, ScanNet++, Aria Digital Twin, and HOLIWORLD-Bench demonstrate strong performance in static perception and dynamic tracking, while training on HOLIWORLD-Data substantially improves HOLIWORLD-VL-4B's spatial and temporal reasoning on HOLI- WORLD-Bench and EgoDynamic4D. HOLIWORLD provides a practical foundation for expanding learning resources from the continuous flow of human experience and advancing machine understanding of the dynamic world.