What 30,000 Hours of Ego-centric Video Does Not Teach
作者: Jiahua Dong, Anurag Bagchi, Yash Jangir, Muhammad Zubair Irshad, Sergey Zakharov, Martial Hebert, Homanga Bharadhwaj, Yu-Xiong Wang, Vitor Campagnolo Guizilini, Pavel Tokmakov
分类: cs.CV
发布日期: 2026-10-08
💡 一句话要点
提出新监督机制以提升物体动态建模能力
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)
关键词: 世界模型 物体动态建模 自我中心视频 监督机制 代理建模 数据效率 视觉条件设计
📋 核心要点
- 现有的世界模型在物体交互的真实度建模上存在不足，尤其是在面对复杂场景时表现不佳。
- 论文提出通过新的监督机制，优化模型的训练方式，将注意力从场景外观转向物体动态，以提升物体交互的真实度。
- 实验结果表明，增加训练数据量100倍可以提升代理建模能力，但物体真实度的提升有限，且通过新机制可显著改善物体建模效果。
📝 摘要（中文）
世界模型为物理模拟器提供了一种有前景的替代方案，但在实际应用中仍面临挑战。本文探讨了使用30,000小时的自我中心视频数据集对世界模型的影响，数据集涵盖1,000种场景类型和14,000名贡献者。通过直接评估代理和物体交互的真实度，发现增加训练数据虽然提升了代理建模能力，但物体真实度的提升却相对缓慢。研究表明，代理的提升不完全依赖于数据量，而是通过精心设计的视觉条件可以在较少数据下达到真实度的饱和。最后，提出了一种新的监督机制，将模型的能力从场景外观转移到物体动态上，从而改善物体真实度，尽管仍存在显著差距。
🔬 方法详解
问题定义：本文旨在解决世界模型在物体交互真实度建模上的不足，尤其是在面对复杂场景时的表现不佳。现有方法依赖于大量数据，但物体真实度的提升效果有限。
核心思路：论文提出通过新的监督机制，将模型的学习能力从场景外观转移到物体动态上，从而提升物体交互的真实度。这样的设计意在通过优化训练过程来弥补数据量不足带来的影响。
技术框架：整体架构包括数据预处理、视觉条件设计、代理建模和物体动态建模四个主要模块。通过这些模块的协同作用，模型能够更好地理解和预测物体交互。
关键创新：最重要的技术创新在于引入了一种新的监督机制，能够有效地将模型的学习重点从场景外观转向物体动态。这一创新与现有方法的本质区别在于不再单纯依赖数据量的增加，而是通过优化学习策略来提升模型性能。
关键设计：在关键设计方面，采用了特定的损失函数来平衡代理和物体建模的真实度，同时在网络结构上进行了调整，以便更好地捕捉物体动态特征。
🖼️ 关键图片
📊 实验亮点
实验结果显示，增加训练数据量100倍后，代理建模能力显著提升，但物体真实度提升有限。通过新提出的监督机制，物体建模能力有所改善，尽管仍存在显著差距，表明模型训练方式对结果影响更大。
🎯 应用场景
该研究的潜在应用领域包括机器人视觉、自动驾驶、虚拟现实等，需要高效理解和预测物体交互的场景。通过提升物体动态建模能力，能够为这些领域提供更为准确的环境理解和决策支持，具有重要的实际价值和未来影响。
📄 摘要（原文）
World models offer a promising alternative to physics-based simulators, yet remain far from practical deployment. We ask how far scaling ego-centric human video takes them, using a dataset of 30,000 hours spanning over 1,000 scene types and 14,000 contributors. Rather than relying on opaque downstream metrics, we directly evaluate agent and object-interaction fidelity on a challenging out-of-distribution benchmark. Increasing training data by 100x improves both, but unevenly: the agent is modeled well, while object fidelity remains far lower and improves slowly. We show that the agent gains need not come from data, and a careful visual conditioning design saturates fidelity with a fraction of it, which lets us measure object fidelity on its own and discover its saturation point. We then introduce a supervision scheme that shifts capacity from scene appearance toward object dynamics, improving object fidelity though a substantial gap remains. Finally, our conclusions transfer to downstream humanoid modeling. Overall, our results suggest that scaling ego-centric data brings agent modeling close to its limit while leaving its effects on the world far behind, and that closing this gap will depend on how models are trained, not only on how much data they see.